大規模トマト生産施設における収穫ロボットの開発 ─3次元距離センサによる果実の認識─

大規模トマト生産施設における収穫ロボットの開発
─3次元距離センサによる果実の認識─

南駿

1. はじめに
 トマト収穫ロボットに関するこれまでの研究では,カラーカメラや3次元距離センサを用いた果実の検出が行われてきたが,主茎や葉といった障害物と果実の詳細な位置関係までは把握できなかった.また,障害物に隠れた部分の情報も取得できなかった.それにより,エンドエフェクタの果実への適切なアプローチが行えない可能性が考えられた.
 そこで本研究では,株全体の情報を取得することを目的とし,センサを移動させることで得られる3次元点群を利用する方法を検討した.


2. 実験装置および方法
 3次元点群は,センサを動かしながら得られる多視野からの距離情報を,演算によって重ね合わせることで得ることができる.本研究では,センサとしてMicrosoft社製Kinect for windowsを用い,演算ソフトとしてKinect Fusion Explorer-D2Dを使用し,最大30 fpsで3次元点群をリアルタイムに作成した.
 KinectはRGBカラーカメラ(解像度640 (H)×480 (V))および3次元距離センサ(解像度640×480,視野角57°×43°,有効測定距離0.4〜4.0 m)を内蔵している.それらにより,作成した3次元点群は3次元座標およびRGB値を有する.
 まず,3次元点群の精度を確認するために実験室内において撮影を行った.果実は,ターンテーブルに果柄部分が上になるよう置いて1回転させ,接地面を除く果実全体の情報を取得した.対象の回転を認識できるようにセンサの俯角を30°,果実との距離を約0.5 mとし,房状のトマトを含む28個の3次元点群を得た.
 つぎに,実際の作物列における3次元点群を取得するため,夕方から夜の山陽圏フィールド科学センターの温室で撮影を行った.温室内で栽培されたトマトの作物列に対して,約0.6 mの距離にレールを設置し,センサを移動させて入力を行った.これらで得られた3次元点群について,果実や障害物が認識できるか目視で確認を行った.  


3. 実験結果および考察
 Fig. 1に果実単体のRGB画像と3次元点群の例を示す.3次元点群は,視認しやすいように表面にポリゴンを貼り付けて示した.
 Kinectを用いた場合,従来では果実のエッジ付近の情報が欠落しやすく,右側には視差による影が発生していたが,多視野からの撮影によって情報を補完し,接地面以外は果実の3次元点群が良好に作成できた.果実直径は,実際にノギスで測った値と誤差±2 mm以内であった.主茎や果柄においては,5 mm以上の太さがあれば情報が得られた.また,果柄周辺の凹部分については認識できたが,ガクは全く認識できなかった.これはガク片の厚みが1 mm程度しかないためだと考えられる.
 実際の作物列では,同様にガクの認識は難しかったが,主茎や葉,果実などは良好に行えた.Fig. 2に果房周辺の3次元点群を示す.果実とともに,主茎や葉,果柄といった障害物も認識可能で,それぞれの3次元的な位置関係を把握することができた.
 これにより,障害物を避けての収穫動作や,果実への適切なアプローチラインを求めることが可能であると考えられた.例えばFig. 3の果房周辺では,従来の距離画像では(a)のロボットの正面からの情報しか得ることができなかった.これでは果実が障害物に隠れていることしか認識できず,収穫対象から除外されていた.一方(b)は(a)から仮想視野を左に45°回り込ませたものである.この果房のように葉と果実の間に障害物が無く,エンドエフェクタが入る十分な空間がある場合,矢印方向から果実の果頂部に対してアームを接近させることで,収穫を行うことができると考えられた.