ナス収穫ロボットの視覚部に関する研究−果実基部の検出−

ナス収穫ロボットの視覚部に関する研究−果実基部の検出−

長野 謙二

1. はじめに
 過去,ナス収穫ロボットが試作されているが,その問題点として果実の切断点の検出機構がうまく機能しなかったことが挙げられる。このロボットは切断位置の検出をするためにハンドに取り付けられた爪により果実基部を検出していた。本研究では画像処理の手法を用いて切断点検出のための目安となる果実基部の検出方法について考察した。ここでいう果実基部とは,人が目視したとき果実と果柄の境目のくびれている位置を指す。

2. 実験方法
 果実検出の際,従来多く用いられてきたRGB画像の手法によるものではなくHLS画像の手法により二値化を行うことにした。これは光の環境が常に一定でないハウス内での作業に合わせてロボットを作っているからであり,HLSの手法では明度にしきい値を設けなければ日照条件に影響を受けにくいのではないかと考えたためである。また,果柄からがくにかけての表面の形状に凹凸が多く光を散乱させる部位の検出においても有効であることも考えられたためである。
 果実基部の検出には以下の方法を用いた。まず,水平長を5ピクセルに取り出す。その値はノイズが多いため,移動平均を行うことで値を平滑化する。移動平均した値を前後1つおきに比較していき,1.3倍を初めて超えたところを果実基部と仮定する。原画像を目視して果実基部であると思われる位置から前後3mm以内の位置で検出できた場合を成功,それ以外の位置を検出した場合を失敗とした。

3. 実験結果及び考察
 HLS画像による二値化はRGB画像によるものに比べ日照条件の影響を受けずに果柄部分やがくまで検出できることが証明された。
 果実基部は40画像中36画像で検出に成功した。成功率は90%であった。失敗した画像の原因としては二値化した際,果柄部分にノイズがのっており,果実基部の位置を実際の基部の位置に比べ平均23ピクセル(推定距離9.2mm)上方に検出していたものが全てであった。
 結果的に検出率を90%まで高めることができ,画像処理による果実基部の検出は可能であると証明できたといえる。ノイズを消しきれずに失敗した4果実については二値化の際のしきい値の精度を高めるか,水平長をさらに分析していき,より下にあるものを果実基部と仮定するようなアルゴリズムを追加することにより,解決できるのではないかなど,まだ改善の余地は残されている。また,今回の実験は実際のロボットと連動させて,収穫作業を行っていないため,実際に収穫作業を行ったらどのようになるのか実験してみる必要があると思われる。


図1 果実基部検出方法 図2 原画像 図3 測定後の画像

ナス収穫ロボットの視覚部に関する研究 −果実基部の検出−

岡山大学 門田充司,長野謙二
野菜茶試 林茂彦
井関農機(株) 有馬誠一

Keywords: 果実基部,HLS画像,増加率

I はじめに
 我が国でのナスの作付面積はおよそ13,600ha,収穫量は47万tとなっている。しかし、作付面積は年間約2%の割合で減少の傾向にあり,これは労働者不足によるものが大きいと考えられる。ナスの収穫は晩夏から初秋にかけて最盛期を迎える。ナス収穫作業はナス栽培における全労働時間の約40%を占め,農家にとっては大きな負担となっており,機械化の望まれる作業の一つとなっている。本研究ではロボット収穫システムの確立,特に画像処理の手法を用いての果実基部検出のアルゴリズムについて考察してみた。

II 果実基部検出方法
  視覚センサから得られたカラー画像(静止画像)を元に,果実基部検出アルゴリズムの検討を行った。果実基部検出の流れは図1のフローチャートに示す。果実基部とは,がくと果柄の境界部分に存在するくびれの位置を意味し,本実験では原画像から目視で定義した。果実基部はロボットでの収穫作業の際,切断点を決定するための重要な目安となる。果実基部検出の手順としては,まず,原画像(RGB画像)をHLS画像に変換して二値化を行い,がく,果柄を含む果実部を抽出する。HLS画像はRGB画像などに比べ,日照条件による影響を受けにくく,物体の色相による検出が行える利点がある。今回のロボットはハウス内での作業を目的としており日照条件が一定でないためHLSの手法の方が有効であると考えられた。RGBでの二値化とHLSでの二値化の画像を図2に示す。3×3のフィルタでのオープニング,クロージング,フェレ長比,一定面積以下のものを削除するなどによりノイズ処理を行った後,果柄を含む果実上部から下方向に順番に対象の水平方向の長さ(水平長)を算出し,垂直方向10pixel先の水平長と比較して、その増加率がしきい値(本実験では1.3)を超えた部分を果実基部とした。この場合,果柄など細い部分ではノイズなどの影響によって水平長の差が僅かでも,その変化率が大きく変化し,誤認識される場合があった。そこで前処理として,水平長3つの移動平均を行って,ノイズを除去し,画像を平滑にした。図3に移動平均の結果例を示す。単位はpixelであり,1pixelが0.45mmに相当する。原画像には様々な日照条件の下で,果実から400mmの距離で撮影されたものを 40画像用いた。


(1)HLSでの二値画像

(2)RGBでの二値画像
図1 フローチャート図2 二値画像
III 結果および考察
 実験結果の判断においては,定義した果実基部の位置から±3mm以内で検出された場合を成功,それ以外を失敗とした。この値は収穫用エンドエフェクタが吸収できる誤差の範囲に基づいている。表1は実験結果を示す。実験の結果,40画像中36画像で検出に成功した。検出成功の最大誤差は2.8mm、最小誤差は0.3mm、平均誤差は1.9mmという結果であった。図4に原画像と二値画像の一例を示す。この場合,誤差2.3mmで果実基部の位置が検出されている。また検出失敗については最大誤差15.8mm、最小誤差5.2mm、平均誤差9.2mmという結果であった。失敗した原因としては,対象果実の果柄の後方に,主茎や花弁などが存在した場合,二値化の段階で完全に除去されずにノイズとして残ったためである。HLSの手法による二値化によりがくや果柄まで検出はできたが、それに伴い主茎や花弁など果実と同系色のものもノイズとして検出してしまうという課題も残された。本実験のアルゴリズムでは,上から下へ順番に走査を行い,水平長がしきい値を越えた時点で検出を終了したが,果実全体にわたる走査を行ってから判断を行う,あるいは下から上方向への走査も同時に行う,などの改良を加えれば成功率はさらに向上すると考えられた。


表1 実験結果
個体数誤差Max誤差min誤差ave
検出成功362.8mm0.3mm1.9mm
検出失敗415.8mm5.2mm9.2mm
(1)原画像 (2)二値化画像
図3 移動平均の結果 図4 実験結果例

IV おわりに
 検出率90%ということで,画像処理の手法による果実基部の検出は有効であると考えられた。しかし,今回のアルゴリズムを使用し実際に収穫作業を行っていないため,収穫作業を行い,実験を重ねることでさらに課題が見えてくるのではないかと考えられる。

参考文献
1) 元永佳孝ら:農産物表面色の色彩画像処理システムの構築,農機誌,59(3),13〜21,1997
2) 林茂彦ら:ナス収穫用エンドエフェクタの改良と収穫基礎実験.農機学会関西支部報,89号,94〜97,2001