大規模トマト生産施設における収穫ロボットの開発
─ 3次元距離センサによる果実の位置検出 ─
三野 裕紀
1. はじめに
トマト収穫ロボットの視覚部に関する先行研究1)においては，色情報を用いて果房内の果実の識別や位置検出を行ったが，隣接する果実との境界が明瞭でない場合には，個々の果実を認識することが難しかった．
そこで本研究では，色情報と3次元距離情報を併用することで果実の識別，認識および位置検出を行う手法を検討した．
2. 実験装置および方法
視覚部にはRGBカラーカメラ（解像度640(H) × 480(V)）および3次元距離センサ（解像度640 × 480，視野角57° × 43°，有効測定距離0.4〜4.0 ｍ）を内蔵したMicrosoft 社製Kinect for Windowsを用いた．以後，640 × 480画素の3次元距離情報を距離画像と呼ぶ．
距離画像上の各画素の値は，三角測量の原理を用いたセンサ平面からの距離となる．また，距離画像とカラー画像の解像度は同じであり，各画素の距離情報と色情報が対応する．
岡山大学山陽圏フィールド科学センターの温室内で栽培されたトマトの作物列に対して0.5〜0.8 mの距離から昼，夜の撮影を行った．
3. 実験方法
まず，取得した距離画像に対してCannyアルゴリズムを用いて作物の各部位の輪郭を抽出して分離を行った後，ロボットのアームが到達できない距離（1 m以上）にある物体や，面積がしきい値以下のものを除去した．つぎに物体の形状を検出するため，各物体を式(1)に示す二次曲面に最小二乗法を用いて近似した．
式においてx，yは距離画像内の物体の重心からの水平および垂直距離（画素数）を意味し，z(x，y)は重心における値を0とした場合の任意の位置の奥行きを表す．つまり，物体内でz(x，y)の値に変化がなければ平坦であり，重心から遠ざかるにつれて値が大きくなれば凸形状をした表面であることを意味する．a〜fは係数である．
(1)を適応して得られた係数の値から各物体の形状を判断し，球形に近ければ果実の候補とした．最終的にはカラー画像から得られる色情報との論理積から，収穫適期の果実を抽出した．
z(x，y)= ax^2+by^2+cxy+dx+ey+f (1)
4. 実験結果および考察
Fig.1に検出結果例を示す．(a)はカメラから得たカラー画像である．(b)は理解しやすいように，3次元距離センサで得た距離画像の各画素を，距離に応じた濃淡画像に変換したものである．(c)は(b)の距離画像に対して輪郭抽出を行って各物体に分離し，その物体の距離や大きさに応じて除去を行った後の結果である．(c)の各物体に対して(1)を適応して係数を求め，球形に近い形状の物体のみを抽出した結果が(d)である．
(d)において一番右側の物体は葉であるが，表面が凸の形状をしていたため，果実の候補として残された．左の3個は果実である．つぎに(a)に対してHLS変換を行い赤色領域の抽出を行った(e)．そして，(d)と(e)の論理積を求め，収穫適期果実の候補を抽出した．
さらに抽出された候補に対して膨張処理を行い，円形度を求めた．円形度がしきい値以上であれば，候補の物体が障害物等に隠されておらず，ロボット収穫が可能と判断した．
図の例では(f)で抽出された果実が収穫対象となった．撮影した70枚の画像に対して同様の処理を行った結果，全ての収穫対象果実を良好に検出することができ，空間位置座標を得ることができた．今後，距離画像を用いた障害物の有無等果実の状況およびガク位置の認識が可能となればロボットの収穫動作の精度がより向上すると考えられる．
