I はじめに
我が国でのナスの作付面積はおよそ13,600ha,収穫量は47万tとなっている。しかし、作付面積は年間約2%の割合で減少の傾向にあり,これは労働者不足によるものが大きいと考えられる。ナスの収穫は晩夏から初秋にかけて最盛期を迎える。ナス収穫作業はナス栽培における全労働時間の約40%を占め,農家にとっては大きな負担となっており,機械化の望まれる作業の一つとなっている。本研究ではロボット収穫システムの確立,特に画像処理の手法を用いての果実基部検出のアルゴリズムについて考察してみた。
II 果実基部検出方法
視覚センサから得られたカラー画像(静止画像)を元に,果実基部検出アルゴリズムの検討を行った。果実基部検出の流れは図1のフローチャートに示す。果実基部とは,がくと果柄の境界部分に存在するくびれの位置を意味し,本実験では原画像から目視で定義した。果実基部はロボットでの収穫作業の際,切断点を決定するための重要な目安となる。果実基部検出の手順としては,まず,原画像(RGB画像)をHLS画像に変換して二値化を行い,がく,果柄を含む果実部を抽出する。HLS画像はRGB画像などに比べ,日照条件による影響を受けにくく,物体の色相による検出が行える利点がある。今回のロボットはハウス内での作業を目的としており日照条件が一定でないためHLSの手法の方が有効であると考えられた。RGBでの二値化とHLSでの二値化の画像を図2に示す。3×3のフィルタでのオープニング,クロージング,フェレ長比,一定面積以下のものを削除するなどによりノイズ処理を行った後,果柄を含む果実上部から下方向に順番に対象の水平方向の長さ(水平長)を算出し,垂直方向10pixel先の水平長と比較して、その増加率がしきい値(本実験では1.3)を超えた部分を果実基部とした。この場合,果柄など細い部分ではノイズなどの影響によって水平長の差が僅かでも,その変化率が大きく変化し,誤認識される場合があった。そこで前処理として,水平長3つの移動平均を行って,ノイズを除去し,画像を平滑にした。図3に移動平均の結果例を示す。単位はpixelであり,1pixelが0.45mmに相当する。原画像には様々な日照条件の下で,果実から400mmの距離で撮影されたものを
40画像用いた。
(1)HLSでの二値画像
(2)RGBでの二値画像
図1 フローチャート
図2 二値画像
III 結果および考察
実験結果の判断においては,定義した果実基部の位置から±3mm以内で検出された場合を成功,それ以外を失敗とした。この値は収穫用エンドエフェクタが吸収できる誤差の範囲に基づいている。表1は実験結果を示す。実験の結果,40画像中36画像で検出に成功した。検出成功の最大誤差は2.8mm、最小誤差は0.3mm、平均誤差は1.9mmという結果であった。図4に原画像と二値画像の一例を示す。この場合,誤差2.3mmで果実基部の位置が検出されている。また検出失敗については最大誤差15.8mm、最小誤差5.2mm、平均誤差9.2mmという結果であった。失敗した原因としては,対象果実の果柄の後方に,主茎や花弁などが存在した場合,二値化の段階で完全に除去されずにノイズとして残ったためである。HLSの手法による二値化によりがくや果柄まで検出はできたが、それに伴い主茎や花弁など果実と同系色のものもノイズとして検出してしまうという課題も残された。本実験のアルゴリズムでは,上から下へ順番に走査を行い,水平長がしきい値を越えた時点で検出を終了したが,果実全体にわたる走査を行ってから判断を行う,あるいは下から上方向への走査も同時に行う,などの改良を加えれば成功率はさらに向上すると考えられた。
表1 実験結果
個体数
誤差Max
誤差min
誤差ave
検出成功
36
2.8mm
0.3mm
1.9mm
検出失敗
4
15.8mm
5.2mm
9.2mm
(1)原画像
(2)二値化画像
図3 移動平均の結果
図4 実験結果例
IV おわりに
検出率90%ということで,画像処理の手法による果実基部の検出は有効であると考えられた。しかし,今回のアルゴリズムを使用し実際に収穫作業を行っていないため,収穫作業を行い,実験を重ねることでさらに課題が見えてくるのではないかと考えられる。