大規模トマト生産施設における収穫ロボットの開発
─ 3次元距離センサを用いた収穫対象果実の識別 ─

Development of Tomato Harvesting Robot in Large Scale Greenhouse
─ Fruit Identification using Three-dimensional Distance Sensor ─

南駿

1. はじめに
　3次元距離センサを用いたトマト果実検出の先行研究では，色情報を併用する方法が検討され，果実の識別が可能であった．しかし，輪郭線を減算して物体同士を分離したため，果実の中央付近以外の距離情報が失われ，距離情報の補完に用いた色情報もハレーションにより欠落する場合があった．そこで本研究では，色情報は収穫適期の判定と処理範囲を定めることにのみ用い，その範囲内における最近点から奥に向かって距離情報の3次元スキャンを行うことで，物体を輪郭まで識別する方法を検討した．

2. 実験装置およびアルゴリズム
　センサにはMicrosoft 社製Kinect for Windows v2 を用いた．カラーカメラ（解像度1920×1080）と3次元距離センサ（解像度512×424）を内蔵しており，いずれもv1から性能が向上した．さらに，距離情報を赤外線レーザの反射で取得するため，昼間でも使用可能になったが，反射により情報が欠落する部分が発生する欠点もある．以後3次元距離情報を距離画像と称する．撮影は，本学山陽圏フィールド科学センタの温室内で栽培されたトマトの作物列に対して0.5〜0.8 mの距離から昼と夜に行った．
　果実識別までのアルゴリズムはまず，熟した果実の色情報を基にしきい値以上に赤い領域を抽出する．その周辺に果実があると仮定し，領域内の最も近い距離を起点として，同じ距離にある点群を求める．同一果実の表面であれば点群は等高線に相当するので，距離を変えながら点群を積算して物体を形成する．もし果実が単独であれば，ある距離（輪郭部分）から物体の大きさは変わらなくなるが，果房であればある距離で隣接する果実と一塊になって急激に大きくなる．また，物体の手前に障害物があれば，輪郭線は円形から遠くなる．これらの状況を組み合わせて収穫対象果実を識別する．

3. 実験結果
　Fig. 1に太陽光のハレーションにより果実の色情報が欠落した場合の検出結果の例を示す．(a)はカラー画像で，そこから適熟と判定された色部分を抽出，2値化した結果が(b)である．(c)は(b)の領域内の最近点（図中×）近傍の距離画像であり，昼間でも良好に距離情報を取得できた．しかし，前述のとおり果実中央部付近や主茎に，反射により欠落が発生した（黒色部分）．果実中央部付近は最近点が存在する可能性が高く，実際の収穫時には距離情報を補完する必要があるが，今回の果実識別には影響は少なかった．起点から奥方向にスキャンして，等距離にある点群を求めていくと(d)のように順次抽出され，それらを積算すると(e)を得た．ここで(e)は隣接する果実と一塊になった段階なので，前段階までの(f)を一旦候補とし，円形度を計算した．その結果0.89であったので，収穫対象果実とした．以上のように今回は，先行研究では中央付近しか得られなかった距離情報を輪郭付近まで得ることができ，色情報が欠落していても収穫対象果実の識別を行うことができた．

minami1.jpgminami2.jpgminami3.jpg
(a) Color image(b) Ripeness color area(c) Depth image
minami4.jpgminami5.jpgminami6.jpg
(d) Point group(e) Connecting components(f) Identified fruit
Fig. 1 Example of fruit identification

秘蔵ムービー