2. 実験装置および方法 3次元点群は,センサを動かしながら得られる多視野からの距離情報を,演算によって重ね合わせることで得ることができる.本研究では,センサとしてMicrosoft社製Kinect for windowsを用い,演算ソフトとしてKinect Fusion Explorer-D2Dを使用し,最大30 fpsで3次元点群をリアルタイムに作成した. KinectはRGBカラーカメラ(解像度640 (H)×480 (V))および3次元距離センサ(解像度640×480,視野角57°×43°,有効測定距離0.4〜4.0 m)を内蔵している.それらにより,作成した3次元点群は3次元座標およびRGB値を有する. まず,3次元点群の精度を確認するために実験室内において撮影を行った.果実は,ターンテーブルに果柄部分が上になるよう置いて1回転させ,接地面を除く果実全体の情報を取得した.対象の回転を認識できるようにセンサの俯角を30°,果実との距離を約0.5 mとし,房状のトマトを含む28個の3次元点群を得た. つぎに,実際の作物列における3次元点群を取得するため,夕方から夜の山陽圏フィールド科学センターの温室で撮影を行った.温室内で栽培されたトマトの作物列に対して,約0.6 mの距離にレールを設置し,センサを移動させて入力を行った.これらで得られた3次元点群について,果実や障害物が認識できるか目視で確認を行った. 3. 実験結果および考察 Fig. 1に果実単体のRGB画像と3次元点群の例を示す.3次元点群は,視認しやすいように表面にポリゴンを貼り付けて示した. Kinectを用いた場合,従来では果実のエッジ付近の情報が欠落しやすく,右側には視差による影が発生していたが,多視野からの撮影によって情報を補完し,接地面以外は果実の3次元点群が良好に作成できた.果実直径は,実際にノギスで測った値と誤差±2 mm以内であった.主茎や果柄においては,5 mm以上の太さがあれば情報が得られた.また,果柄周辺の凹部分については認識できたが,ガクは全く認識できなかった.これはガク片の厚みが1 mm程度しかないためだと考えられる. 実際の作物列では,同様にガクの認識は難しかったが,主茎や葉,果実などは良好に行えた.Fig. 2に果房周辺の3次元点群を示す.果実とともに,主茎や葉,果柄といった障害物も認識可能で,それぞれの3次元的な位置関係を把握することができた. これにより,障害物を避けての収穫動作や,果実への適切なアプローチラインを求めることが可能であると考えられた.例えばFig. 3の果房周辺では,従来の距離画像では(a)のロボットの正面からの情報しか得ることができなかった.これでは果実が障害物に隠れていることしか認識できず,収穫対象から除外されていた.一方(b)は(a)から仮想視野を左に45°回り込ませたものである.この果房のように葉と果実の間に障害物が無く,エンドエフェクタが入る十分な空間がある場合,矢印方向から果実の果頂部に対してアームを接近させることで,収穫を行うことができると考えられた. |
|