パノラマ画像によるイチゴ生長情報取得
― 画像合成時のカメラ移動によるブレ補正 ―
Acquisition of Strawberry Growth Information Using Panoramic Image
― Stabilization of Moving Camera Image During Composition ―
徐正陽
1. はじめに
イチゴ栽培において果実数は重要な指標であり，収穫数の計測や予測には同一個体の経時的な対応付けが求められている。同じ果実を追跡するには位置情報が必要であるが，日本のイチゴはハウス内での促成栽培が主流であるため，GPS等の利用は難しい。そこで撮影した動画からパノラマ画像を合成して画像中の座標を位置情報とすることを発想した。奥行きのある画像では視差があることから通常の方法では合成できないため，これまでに植物体に注目した新たな方法を検討してきた。本研究では果実の位置情報を取得することを目的に，撮影中のカメラのブレを補正する方法を検討した。
2. 装置および方法
供試作物として，岡山大学圃場内のハウス内で高設栽培されたイチゴを使用した。カメラは人が手に持ち，0.2 m/s程度で平行移動しながら栽培ベッドの側面にある果実が画像の中央付近に写るような位置で撮影した。ベッドは長さ9.5 m，幅0.3 m，高さ1.0 mで，カメラは汎用的なスマートフォン（Apple iPhone 14 pro）の機能を使用し，解像度1,080 × 1,920ピクセル60 fpsの動画を昼間の自然光下で撮影した。動画から全てのフレームを画像として取り出して，前フレームとのテンプレートマッチングでパノラマ画像を合成した。テンプレートマッチングは背景による影響を受けなくするために，株領域のみを抽出して行った。画像の左右中央付近で抜き出したテンプレート(横72×縦1720ピクセル)に−0.5 °から0.5 °の間で0.1 °ずつ回転処理と，0.99倍から1.01倍の間で0.001倍ずつ縮小・拡大処理を行いながら類似度が最大になる座標を決定した。合成時の累積誤差を減らすために，マッチングを行う画像は元のフレームのままの角度や倍率とし，求めた角度や倍率，座標を記録してループの最後にまとめて合成した。また，合成したパノラマ画像から画像処理によって適熟果を検出し，果実の位置情報を取得した。適熟果の検出は，パノラマ画像をRGB画像からL*a*b*表色系に変換しa*が150以上の領域を抽出して行った。抽出の際，背景や未熟果，反対側のベッドの果実を検出しないようにするために領域面積による閾値を設定し，1,000ピクセル以下の領域は削除した。
3. 結果および考察
パノラマ画像の合成は良好に行うことができ，補正なし時に長さ方向に生じていた誤差を減らすことが出来た。補正の例として栽培ベッドに大きく近づいて離れたときの合成画像をFig. 1に示す。これまでの合成（Fig. 1上）ではベッドに近づいた箇所は大きく，反対に離れた箇所は小さく映っているが，補正により植物体にひずみのない自然なパノラマ画像を合成することができた（Fig. 1下）。これにより水平方向の座標も修正され実際の栽培ベッドの位置関係に近づいた。また，適熟果の検出例をFig. 2に示す。見逃しや検出ミスがあり，検出数と実際の果実数には1日当たり数個のずれが生じたが，およそ正しく計測を行うことができた。位置情報は抽出した領域の重心座標とし，同時に面積も記録することで生長情報としても活用できるようにした。検出した果実はパノラマ画像の左から検出順にID番号を割り振った。果実数は収穫や，新たに適熟となることで日々変化するが，今回得られた位置情報や面積情報を用いれば，追跡や収穫の判断を行うことができると考えられた。今後は位置座標を用いた生長情報を長期間計測し，それらのデータベース化を目指したい。
Fig. 1 Comparison between original image and corrected image
Fig. 2 Obtained location and ripe fruit area information from a panoramic image