3次元距離センサによる作業者の検出と追跡
岡山大学大学院環境生命科学研究科 中村大輔・門田充司・難波和彦
T はじめに
当研究室では，ロボット作業に適した大規模トマト生産施設で稼働する収穫ロボットの研究を長年行ってきた．このロボットは収穫作業だけを行い，作物列間の移動や収穫コンテナの交換などは人間が行うことを前提とした人間協調型ロボットであるため，安全性を確保するための外界センシングシステムが必要である．
外界センシングとしては，ブドウ園で作業を行う管理収穫ロボットを対象として，赤外線センサと超音波センサを併用したシステム1)や，レーザスキャナによって3次元距離情報を得るシステム2)などの研究が行われてきた．しかし，これらのシステムは棚栽培されたブドウ園での使用を前提としているため，ロボットの周囲にはほとんど障害物が無く，人間の動きを検出しやすい．
一方，トマトの生産施設では，鉛直方向に仕立てられた作物列の間をロボットが移動することを前提としているため，隣の列で人間が作業をしている場合など，作物に隠される場合が多く，人間の動きの検出は容易ではない．
そこで本研究では，3次元距離センサによる距離情報を基に，背景削除法やフレーム間差分法等の手法を用いて作物と人間が混在する環境において，人間の動きを検出するアルゴリズムの検討を行った．
II 実験装置および方法
外界センサには3次元距離センサ（解像度640(H)×480(V)，有効計測距離0.4〜4.0 m，視野角57°×43°，最大フレームレート 30 fps，距離分解能16ビット）とRGBカラーカメラ（解像度640(H)×480(V)）を内蔵したMicrosoft社製Kinect for Windowsを用いた．近赤外プロジェクタから照射されたパターン光を，近赤外カメラで撮影することにより，距離データを測定している．このセンサから得られた16ビットの3次元距離情報を8ビットに変換して距離画像とし，後述するアルゴリズムに適応した．
実験環境は大規模生産施設の作物列を想定し，実験室内にトマトの模型を二列になるように配置した．作物列はセンサから0.7 mと1.7 mの位置に設置し，この二列の間で人間の移動や停止，収穫動作を行い，3次元距離距離情報とカラー画像を得た．
III アルゴリズム
今回，人間の検出に用いた基本的なアルゴリズムは，背景削除法とフレーム間差分法である．以下にこれらのアルゴリズムを紹介する．
1. 背景削除法
(1) 概要
このアルゴリズムは，背景取得と差分画像の作成の二つのステップに分かれており，人間が存在しない背景の距離情報を，人間を含む距離画像から差し引くことで，移動物体である人間を検出する（Fig. 1）．背景は作物列の僅かな揺れなどを考慮し，15フレームの累積値を用いた．これにより，センサ方向に対して前後約±30 mmの範囲に含まれる物体は同一のものと認識される．差分の作成は30 fpsの周期で行った．
(2) 結果および考察
背景削除法の結果をFig. 2に示す．
左側が処理結果で，右側がその時のカラー画像である．人間の移動と停止は，問題なく検出ができた（Fig. 2 (a)， (b)）．しかし，作物列が収穫動作などで大きく移動してしまった場合には，移動物体として検出してしまった（Fig. 2 (c)）．作物列の多少の揺れであれば，元の位置に戻った後に背景として削除されるが，大きく移動された場合には削除されない部分が残ったからである．
なお，このアルゴリズムでは，背景収得時に検出範囲内の人間の有無を判断することができない．そのため，背景の取得時には人体を感知する赤外線センサのような他の外界センサが必要となる．
2. フレーム間差分法
(1) 概要
フレーム間差分法はFig.3に示すように，あるフレームにおける前後で差分画像を作成し，論理積を求めることで移動物体を検出する手法である．
今回の実験では，フレームレートと人間の移動速度を考慮し，4フレームごとの差分画像を利用した．
(2) 結果と課題
人間の移動は，先の背景削除法と同様に良好な検出が行われたが，人間が停止している場合，検出が困難であった（Fig.4 (a)，(b)）．これは，人間が停止した状況では，前後のフレーム差分がほとんどなくなったためである．逆に，作物列が収穫動作などで移動した場合は，静止するまでは検出されているが，最終的に静止すると，それが最初と異なる位置であっても，背景として認識された．
このアルゴリズムは背景削除法と異なり，事前に背景距離情報の取得を必要としないため，他の外界センサが必要ないというメリットがある．
IV 作業者検出・追跡アルゴリズム
1. 検出モードと追跡モード
(1) アルゴリズム
先の実験から得られた背景削除法とフレーム間差分法の特徴をまとめるとTable 1のようになる．両者を併用すれば，お互いのデメリットをメリットで補うことができると考えられる．そこで，二つのアルゴリズムを融合した手法を検討した．
Fig. 5にそのアルゴリズムを示す．まず，検出範囲内の移動物体の有無を，フレーム間差分法で確認する．移動物体が検出されない間は，背景削除法で使用する背景の情報を累積する．この間の処理を検出モードと呼ぶ．
検出範囲内に移動物体（人間）が進入すると，検出モードを終了し，得られた距離画像から背景を削除する背景削除法に切り替え，移動物体の抽出を行う．この間の処理を追跡モードと呼ぶ．移動物体が存在する間は追跡モードを継続し，検出範囲から移動物体が存在しなくなると，検出モードに切り替える．
(2) 結果および考察
上述した検出モードおよび追跡モードを用いた実験においては，検出範囲内に人間がいない状況では背景データの更新が行われ，人間の進入と同時に追跡モードへの切り替えられ，その後人間の動きが良好に検出された（Fig. 6 (a)）．また，人間が停止した場合も，追跡モードを継続し，人間の検出が行われた（Fig. 6 (b)）．人間が検出範囲から出ると，再度検出モードに切り替わり，背景の更新が開始された．
一方，人間の作業によって作物が移動した場合やFig. 6 (c)のように果実が収穫されて元の位置からなくなった場合は，人間が検出範囲から出た後も追跡モードが続いてしまった．この結果は背景削除法において作物が大きく移動した場合と同様である．
したがって，人間が検出範囲内に存在しない場合には，追跡モードから検出モードに切り替えるためのアルゴリズムを追加する必要がある．
2. 移動物体と作物列の識別
(1) アルゴリズム
人間が検出範囲から出た場合に，追跡モードから検出モードに切り替えるための新たなモードを追加した．移動物体の停止判定と，その物体が作物列かを判定する機能を付け加えた．
移動物体と作物列の識別のアルゴリズムをFig. 7に示す．まず，物体が検出範囲に存在しない間は，先の方法と同様に背景の情報を累積する．次に物体が検出範囲に進入すると，収集した距離画像から背景を除去して追跡する物体を抽出する．しかし，先のアルゴリズムにおいては，人間が検出範囲から出ても，果実が収穫されたり作物が移動した場合は，まだ人間が存在すると判断されていた．そこで本アルゴリズムではFig. 8の処理を追加した．まず背景削除法とフレーム間差分法を同時に行う．もし，検出範囲内に移動物体がなく，収穫された果実や作物の移動があれば，背景削除法の結果にはそれらが検出されているが，フレーム間差分法ではなにも検出されない．よって，両結果の論理和を求めれば，収穫された果実や移動した作物が検出できる．その後，停止物体の位置によって人間か作物かを判断した．
本実験で対象とした施設では，作物列が等間隔で水耕ベッドで栽培されているが，作物列間は人間が作業を行うための通路が存在し，空間になっている．よって，フレーム間差分法で検出されなかった物体が作物列の範囲に存在すれば作業によって移動した作物か収穫された果実と判断する．また，作物列間の空間に物体が存在しなければ，人間が検出範囲から出たと判断し検出モードに切り替える．人間として検出されれば追跡モードを継続する．
本アルゴリズムを確認するため，先の実験と同じ環境で実験を行った．
また，本ロボットはある株での果実収穫が完了すると隣の株へ移動しながら作業を継続する．センサを作物列と平行に一定距離移動させて停止することを繰り返し，ロボットの収穫および移動時においても，人間の検出が行えるかどうかも確認した．
(2) 結果
実験の結果，人間と作物の識別を行う機能を付加したアルゴリズムを用いることで，Fig. 9 (a)のように作業によって作物の位置が変わった場合でも，果実が収穫された場合も良好に識別が行えた．また，人間が検出範囲から出た場合には，追跡モードから検出モードに切り替わった．
センサを平行移動させた実験においては，センサの移動中は作物列全体を移動物体として判断し，追跡モードであったが，センサを停止させると作物列が予め設定した作物列の範囲内であったため，移動物体ではないと判断し，Fig. 9 (b)のように検出モードに切り替わった．作物列間に人間が存在する場合も，良好に検出が行われた．
References
1) Monta, M., Kondo, N., Nakatsuka, K.: Man-machine Cooperative System for Agricultural Robot (Part 2). Journal of JSAM, 61(2), 91-100,1999.
2) Monta, M., Kanegae, S., Mohri, K., Namba, K., Kondo, N.: External Sensing System for Human Cooperative Agricultural Robots (Part 2). Journal of Science and High Technology in Agriculture, 14(2), 104-111, 2002
3) Monta, M., Namba, K., Nakamura, D.: Recognition Algorithm for Human Workers by using Three-Dimensional Distance Sensor. Kansai Branch Report of the Japanese Society of Agricultural Machinery and Food Engineers, 17, 2014.
