水耕栽培用イチゴ収穫ロボットの研究

ビジュアルフィードバックを用いた果実の検出

岡山大学 芝野保徳・近藤 直・門田充司・武智 篤史
井関農機(株)有馬誠一・中村 博

Keywords:イチゴ、視覚センサ、ビジュアルフィードバック、水耕栽培、収穫

I はじめに

 近年、イチゴの水耕栽培においては、生産量が増大しているものの、労働力不足や人件費の高騰などの問題を抱えており、それを解消するために収穫ロボットの開発が望まれている。そこで、本研究では収穫ロボットの視覚アルゴリズムの開発を行うことを目的として、ビジュアルフィードバック法を用いた果実の位置検出を行った。

II 実験装置

 本研究では視覚装置として画素数が510(H)×490(V)のカラーTVカメラ、及び画素数が512(H)×484(V)の画像処理ボードを用いた。黒色ボードの前方に、イチゴの模擬果実をつるし、光源を約1m離れたところに設定する。カラーTVカメラから果実までの距離をy座標、水平方向をx座標、垂直方向をz座標とする。カラーTVカメラからのNTSCコンポジット信号が、画像処理ボードに入力されると、Y/C分離回路において、輝度信号(Y)と色信号(C)に分離される。この内、色信号は、デコーダによりR、G、B信号に分割されてAD回路において、256階調のデジタル信号に変換された後、それぞれのフレームメモリに取り込まれる。

III 実験方法

 図1にビジュアルフィードバック法を利用した位置検出手順を示す。まず、ロボットの位置に基づくTVカメラと対象物との距離から、果実までの大まかな距離(y座標)を入力した後、画像入力を行う。次に、イチゴの果実が赤色を呈していることを利用し、赤と緑の色信号の差、及び赤信号と輝度信号の差を利用して、果実と他の対象物とを識別する。さらに、垂直、水平フェレ長、及び面積を用いてノイズを消去し、果実のラベリングを行う。この後、すでに入力された果実までの大まかな距離を基にして、x及びz座標を算出する。ここで、画像中に果実があれば、収穫作業を行い、収穫時に得られるエンドエフェクタからの果実の位置情報を保存する。収穫作業後、再び画像入力を行い、保存された距離をもとに次のターゲットとなる果実の位置算出を行う。このフィードバックアルゴリズムを全ての果実がなくなるまで行う手順とした。

図1

 本実験では、イチゴの模擬果実を使用し、1.果実が重なってない時、2.果実が重なっている時、3.誤認識した時、の3つに分けて、果実の配置を決定した。今回は、エンドエフェクタとして吸引式のものを想定しており、その吸引力により30mm内外の果実の検出誤差は吸収されると仮定している。しかし実際にはマニピュレータを用いていないため、収穫作業は果実を手で取り除き、収穫された果実の位置情報は実際の座標を用い、それを保存することにより、図2中の(1)式に示すように、果実の位置算出を行った。ただし、y座標に違いがある時は、図2中の(2)式に示されるような誤差が生じる。

図2

IV 実験結果及び考察

 表1から表3に、実験結果を示す。表1中の図のように果実の座標がほぼ同一平面内にあり、果実が重なってない時は、ほぼ問題なく座標の算出が可能であった。表2中の図のように果実が重なっている時は、AとBの果実は1つの果実とみなされ、まずAとBの中心座標が算出された。この場合、算出された中心座標はAに近いため、エンドエフェクタはAの果実を先に収穫すると仮定して取り除き、再度画像入力することによって、正確なBの果実の位置が検出できた。また、表3中の図のようにAの果実のy座標が最初に入力された距離と大きく異なる場合には、Bの果実の位置算出結果に誤差が生じ、その算出位置に近いCの果実を先に収穫した。再度画像入力することにより、Bの果実もほぼ正確な位置検出が可能であった。いずれの場合も、位置検出は十数ミリの誤差の範囲内で可能であった。

表1〜3

 以上より、ビジュアルフィードバック法はイチゴ果実収穫のための位置検出に適正である、ということがわかった。