パノラマ画像におけるイチゴ果実の位置情報取得
Obtaining Positional Information of Strawberry Fruits Using Panorama Image
増原彩乃
1. はじめに
イチゴの促成栽培では，長期間の安定生産のために，生長情報に基づく客観的な栽培管理が求められている。生長情報として果実の画像があるが，果実の大きさや色，位置は日々変化し，加えて施設内ではGPS等から位置情報を得られないので，同一果実として追跡するのが難しかった。そこでこれまでパノラマ画像中の座標を位置情報とする研究が行われてきたが，他の果実や葉に隠れている果実検出が課題であった。本研究では同一果実追跡を目的に，それらの果実も含めて位置情報を取得した。
2. 装置および方法
撮影対象は，岡山大学ほ場内のハウスで高設栽培されたイチゴとした。一般的なスマートフォン（Apple iPhone 14 Pro）を手に持ち，0.2 m/s程度で平行移動しながら内蔵カメラで撮影した。栽培ベッドは，9.5 m (L) × 0.3 m (W) × 1.0 m (H)で，解像度1,080×1,920ピクセル60 fpsの動画を，昼間の自然光下で撮影した。パノラマ画像からの果実検出には，物体検出AIのYOLOv8を用いた。学習用データはパノラマ合成前の動画から，果実の映っている画像を713枚ランダムに取り出し，それぞれの画像中の果実を目視で選別し，矩形領域で画像中の位置とラベルを指定した。ラベルは，果実全体が見えているものと，他の果実や葉と重なっていることにより一部分が隠れているもの2種類とし，いずれも8割以上赤色に色付いている適熟果を追跡対象とした。一部分が隠れているものは，見えている部分だけを学習させた。学習の終わったAIをパノラマ画像に適用し，果実検出を行って，その位置情報を記録した。最後に位置情報を日々比較することで，同一果実追跡を試みた。
3. 結果および考察
学習の結果をTable1に示す。Red①は果実全体が見えている適熟果で，Red②は一部分が隠れている適熟果である。適合率は誤検出の少なさ，再現率は見逃しの少なさ，F値は2つの値の調和平均を表し，精度は比較的高くなった。誤検出や見逃しの主な原因として，矩形の位置ズレや，Red①とRed②を逆に検出などがあった。誤検出の例をFig. 1に示す。(a)は果実の一部分が隠れているため，正解はRed②だが，Red①として検出された。(b)は全体が映っているため，正解はRed①だが，Red②として検出された。Red①の誤検出35個とRed②見逃し53個のうち18個は逆に検出していたことが原因であった。同様に，Red②の誤検出27個とRed①見逃し8個のうち7個は逆に検出していた。この後，Red①とRed②の区別無く果実が存在したかどうかを記録するので，逆に検出したことは追跡には影響しない。また，Red②の誤検出のうち15個は矩形の位置ズレであるが，これは後述の用意修正可能な場合が多かった。5個は未熟果の検出でこれも多くは翌日には適熟果となったので追跡への影響は小さかった。これらから十分な精度を得られたと判断したのでパノラマ画像で検出を行った。検出例をFig. 2に示す。果実4個中適熟果は2個で，全体が見えている果実と一部分が隠れている果実のどちらも検出できた。左下の半分赤い未熟果は検出せず，またそれに隠された後方の果実を領域まで正確に検出していることから，良好な検出器を作成することができたと言える。一方で見逃しを防ぐために少し過学習にしているため，Fig. 3のように一つの果実に対して複数個の矩形が検出されている誤検出が散見された。このため，正しく検出できた果実は70 %に留まった。そこで，極近傍の座標に複数の同一ラベルの矩形が検出された場合は，1個として処理を行ったところ，85 %に向上した。この情報を用いて，果実を追跡した結果をTable 2に示す。水平方向の座標を全長を1として換算し記載した。端から順にIDを割り振り，日々の計測で前日の座標付近のIDを同じ果実として対応付けを行った（●）。果実が無くなっていれば収穫（■），逆に新たに果実があった場合は未熟から適熟になった（★）と判断した。このように果実の位置情報を取得することで，同一果実の追跡が可能となった。今後はさらに，同一果実の未熟果から適熟果までの自動追跡を目指したい。
Table 1 Result of learning
(a)
(b)
Fig. 1 Example of misdetection
Fig. 2 Example of fruit detection
Fig. 3 Example of misdetection due to overlearnimg
Table 2 Result of fruit tracking
