作物の生育情報抽出のための高精細画像比較システムの開発

本サンプル原稿は、農業情報学会誌「農業情報研究」の論文投稿の雛形として投稿者の皆様にお使い
いただけるように用意したものです。
「農業情報研究」への論文投稿目的以外のご利用は固くお断りし
ます。2014 年度農業情報学会論文賞受賞論文の原稿の使用を快諾いただきました信州大学の小林一樹
2015.3.30
先生には深謝申し上げます。
農業情報学会編集委員会
編集委員長
作物の生育情報抽出のための高精細画像比較システムの開発
1
2
3
小林一樹 *1) ・斉藤保典
2)
4
5
1)
6
信州大学大学院理工学系研究科
2)
信州大学工学部情報工学科
〒380-8553 長野県長野市若里 4-17-1
〒380-8553 長野県長野市若里 4-17-1
7
8
9
要旨
10
本研究では高精細画像を圃場で取得し，外見の変化による作物の生育情報抽出を目
11
的とした高精細画像比較システムを提案する．環境情報とともに作物の生育状態につ
12
いてもモニタリング画像から詳細な情報が抽出できれば，栽培管理を行う上で重要な
13
環境条件を特定したり，病害虫といった作物に生じる様々な問題に対処する上で有益
14
だと考えられる．提案手法では，圃場において一眼レフカメラと小型コンピュータで
15
構成された観測デバイスで高精細画像を自動的に収集し，効率的に生育情報を抽出す
16
るための 2 つの画像比較ビューアを開発した．実際に露地栽培のリンゴとハウス栽培
17
のブドウを観測し，開発したビューアで観察したところ，果粒や穂軸の生長，果実色
18
や葉色の変化，損傷の検出，虫の検出，作業の痕跡の検出を行うことができた．これ
19
らの情報は生育ステージを特定したり，病害の経過観察や防除方法の選択において有
20
用な生育情報である可能性が示された．
21
22
キーワード
23
モニタリングシステム，高精細画像，生育情報抽出，画像比較ビューア
24
25
*
26
[email protected]
27
012-345-6789
Corresponding Author
28
1
1
はじめに
2
農作物の栽培において，増産や高品質化を実現するには作物の生育状態の的確な把
3
握と，生育環境に対して適切な対応を行うことが重要である．そのため，現状では生
4
産者が栽培日誌を作成したり，気象台から気温や湿度，日射量などの気象データを入
5
手してデータの蓄積を行わなければならない．そのような状況に対し，圃場の気象デ
6
ータや作物の生育画像といったさまざまな現場情報を計測する圃場計測ロボット（深
7
津・平藤 2003，Hirafuji et al. 2005，López Riquelme et al. 2009，Morais et al. 2008，Sun
8
et al. 2009，Días et al. 2011，Matese et al. 2009，Garcia-Sanchez et al. 2011）や，農作業
9
の自動記録システム（南石ら 2007）が開発されており，気象データや作業者の行動を
10
11
自動的に記録する取り組みが行われている．
圃場で収集されたデータは，新しい知見を発見するためのビューア（安川ら 2011）
12
や地図上で地理情報と関連付けて表示するビューア（田中・平藤 2009），グラフィカ
13
ルな文字盤や目盛りによるリアルタイム表示（Honda et al. 2009），近隣のアメダス計
14
測地点との比較ができるビューア（戸上ら 2011）といった様々なソフトウェアで閲覧
15
することができ，ユーザが容易に圃場の状況を把握する環境が整いつつある．
16
これらのアプローチでは植物の生長は環境条件に強く影響されることを前提とし，
17
主に圃場の環境情報の蓄積と把握が目的の 1 つとなっている．多くのモニタリングシ
18
ステムでは画像を取得しているが，市販のネットワークカメラといった解像度やノイ
19
ズ耐性の低い撮影装置が用いられるケースが多く，圃場環境の大局的な把握に限定さ
20
れている．そのため，圃場モニタリング画像から作物細部の生育情報を抽出する試み
21
はほとんど行われていない．現場で目視によって生育状態を確認し，その結果を入力
22
できるシステム（神谷ら 2011）もあるが，画像からの抽出は行われていない．環境情
23
報とともに作物の生育状態についてもモニタリング画像から詳細な情報が抽出できれ
24
ば，生育ステージを特定したり，病害の経過観察や防除方法の選択において有用だと
25
考えられる．
26
そこで，本研究では作物モニタリング画像からの生育情報抽出を目的とし，圃場に
27
おいて高解像度で低ノイズな画像を取得し，それらを比較する画像ビューアを提案す
28
る．高解像度な画像を扱う場合，一般的な PC のモニタで全体を等倍表示することは
29
難しく，拡大や縮小といった操作が必要となる．開発した画像ビューアは，このよう
30
な作業の負担を軽減するために，複数の表示画像同士で拡大率や表示座標を同期し，
31
同じ構図を素早く提供することができる．
32
本研究で扱う生育情報とは生長量や病害虫，植物に対する作業に関する情報である．
33
具体的には，果粒や穂軸の生長度，果実や葉の着色変化，損傷や虫の有無，作業の痕
34
跡などを対象とする．植物の病徴や標徴の多くは植物体表面の色彩の変化を伴う．そ
35
のため，画像比較を行うことにより差異を検出し，時間経過による変化を詳細に観察
36
することができる．本論文ではリンゴとブドウのモニタリングを通して生育情報の抽
37
出を試み，提案手法の有効性について議論を行う．
38
2
1
高精細画像比較システム
2
画像から作物の生育情報を抽出するために，本研究では先行研究（Kobayashi et al.
3
2012）をベースとして高精細画像比較システムを開発した．ここでは，高精細画像を
4
高解像度かつ低ノイズな画像と定義する．システムに採用した一眼レフカメラは解像
5
度が高く，一般的なコンパクトデジタルカメラと比較して一画素あたりの受光面積が
6
大きいために S/N 比や階調特性の面で有利だという特徴がある（青野 2010）．
7
8
9
システム構成
図 1 と表 1 に高精細画像比較システムの構成図を示す．システムは観測デバイス，
10
データ蓄積サーバ，Web 画像ビューア，シンクロ画像ビューアから構成される．撮影
11
された画像は一眼レフカメラから小型コンピュータに転送され，インターネットを介
12
して信州大学内のサーバ（以下，信州大サーバ）に転送される．転送された画像は，
13
サーバ上で自動的に細分化処理される．Web 画像ビューアでは，この細分化された画
14
像をブラウザ上で読み込んで描画を行う．Web 画像ビューアから画像の URL をシン
15
クロ画像ビューアに渡すことで，複数枚の画像を同時に並べて表示を行うことができ
16
る．
17
18
<図 1>
19
<表 1>
20
21
観測デバイスや Web 画像ビューアの基本的な構成については，先行研究（Kobayashi
22
et al. 2012）と同等であるため，以下では画像比較の機能に焦点を当て，先行研究との
23
差異を中心に述べる．
24
25
Web 画像ビューア
26
Web 画像ビューアは，ブラウザ上で動作する高精細画像を表示する Web アプリケー
27
ションである．使用した一眼レフカメラの画素数は 1050 万画素であり，一枚の画像の
28
ピクセル数は 3888×2592 となる．被写体によるが，JPEG 形式（記録画質：ラージ／
29
ファイン）で一枚の画像ファイルサイズは約 4MB ほどになる．このサイズの画像を
30
ネットワーク越しにブラウザで閲覧しようとすると，一枚の画像がすべて表示される
31
までに数秒から数十秒かかる場合があり，非常に使い勝手が悪い．Web 画像ビューア
32
は，高精細画像であってもネットワーク越しで素早いレスポンスを提供する．
33
34
基本機能
35
本研究においては，Web 画像ビューアに対してユーザインタフェースの改善，ユー
36
ザ管理機能の追加，画像比較機能の追加を行った．図 2 に Web 画像ビューアのユーザ
37
インタフェースを示す．Web ブラウザからビューアのアドレスにアクセスすると，画
38
像一覧とコントロールウィンドウが表示される．基本的な操作はすべてマウスで行い，
39
画像をドラッグすることで画像一覧が移動でき，ホイールを回転させて画像を拡大縮
3
1
小できる．
2
3
<図 2>
4
5
また，ユーザ認証を行うことでコメント付与が可能となる．ログインボタンを押し
6
て，あらかじめ登録した ID とパスワードを入力することで，コメントを付与できる
7
状態となる．コメント内容は書き込みと同時にコメント一覧に表示され，コメント箇
8
所にはマーカが付与される．図 3 にコメント入力の様子を示す．
9
10
<図 3>
11
12
画像比較機能
13
画像比較モードにすると，ウィンドウの中央に白い枠が表示される．枠の外側と内
14
側の表示内容は独立しており，それぞれ任意の画像を表示できる．図 4 に比較ウィン
15
ドウを表示した様子を示す．比較画像の表示と非表示とを繰り返すことで 2 つの画像
16
を入れ替えてアニメーションのように表示することができ，画像間の差異を際立たせ
17
ることができる．
18
19
<図 4>
20
21
シンクロ画像ビューア
22
シンクロ画像ビューアは，画像比較を行うためのデスクトップアプリケーションで
23
ある．複数枚の画像を同時に表示し，並べて見比べることで時間経過による変化を把
24
握することができる．
25
26
実装方法
27
複数の画像の構図を保って同時に観察できるように，ズームレベルの同期，表示領
28
域の同期，ウィンドウサイズの同期をソケット通信で実現した．ビューアは起動時に
29
固有のポート番号が割り当てられ，自他の区別を行う．あるウィンドウで操作が行わ
30
れたとき，他のウィンドウに対してズームレベル，表示領域，ウィンドウサイズの情
31
報を送信する．情報の受け渡しは通信プロトコルである OSC（Open Sound Control，
32
Wright and Freed 1997）を採用した．
33
34
画像比較機能
35
画像を比較するには，シンクロ画像ビューアを必要な数だけ起動し，任意の画像を
36
読み込ませて使用する．ビューアには画像の URL や画像ファイルをドラッグ＆ドロッ
37
プして画像を表示させる．画像が読み込まれるとウィンドウの左上には撮影日時が表
38
示される．比較したい画像を選定するのに Web 画像ビューアの元画像リンクを用いる
39
ことができる．
40
画像をドラッグすると，起動された全てのウィンドウで同期して画像が移動でき，
4
1
複数の画像間で構図を揃えることができる．また，マウスホイールを回転させること
2
で，起動された全てのウィンドウで同期して画像を拡大縮小できる．画像上の任意の
3
箇所でダブルクリックを行うと，その場所がウィンドウの中央に移動され，比較した
4
い箇所の位置合わせを行うことができる．ウィンドウサイズも同期されるため，観察
5
対象の様子に応じて自由に調整することができる．図 5 にウィンドウサイズを変更し
6
た様子を示す．
7
8
<図 5>
9
10
長さ計測機能
11
シンクロ画像ビューアでは，生育情報を数値として抽出できるように画像上の長さ
12
を計測することができる．数値の単位はピクセルであり，測定対象同士の相対的な比
13
較に用いることができる．画像上で任意の箇所を右クリックすると直線描画モードと
14
なり，続いて別の箇所を右クリックすると直線とその長さが表示される．測定した長
15
さは任意のタイミングで CSV 形式のファイルに保存できる．図 6 に計測時の様子を示
16
す．
17
18
<図 6>
19
20
計測補助機能として，自動位置調整機能を実装した．自動位置調整は，直線の始点
21
と終点の近傍においてそれぞれエッジ抽出を行い，自動的に直線を補正する機能であ
22
る．エッジ抽出処理では，表示座標系を元画像座標系に変換し，元画像を対象にエッ
23
ジ検出を行う．描画された直線の延長上に，始点と終点を中心としてそれぞれ 16 ピク
24
セルの範囲で，グレースケールに変換した上で Sobel フィルタによるエッジ抽出を行
25
い，最も大きな勾配値を持つ座標を特定する．自動位置調整は，直線を描画した後で
26
任意のタイミングで実行できる．画像上の座標(i,j)のグレースケール画素値を f[i,j]と
27
したとき，エッジ処理後の勾配値 g[i,j]は次の積和演算にて求めることができる．
28
29
30
31
ここで，a x [i,j]は座標(i,j)における横方向の勾配値，a y[i,j]は座標(i,j)における縦方向の
32
勾配値を表す．また，s x , s y はエッジ抽出に用いた Sobel フィルタであり，それぞれ横
33
方向と縦方向のエッジ検出用のフィルタ係数である．図 7 に示すように，フィルタの
34
大きさは 3×3 であり，中央のセルが原点となり座標(0,0)である．フィルタ座標(k,l)の
35
フィルタ係数は，それぞれ s x [k,l], s y[k,l]と表される．
5
1
2
<図 7>
3
4
5
中略
6
7
まとめ
8
本研究ではモニタリング画像を利用した外見の変化による作物の生育情報抽出を
9
目的とした高精細画像比較システムについて述べた．圃場において一眼レフカメラと
10
小型コンピュータで構成された観測デバイスで高精細画像を自動的に収集し，効率的
11
に生育情報を抽出する 2 つのビューアを開発した．露地栽培のリンゴとハウス栽培の
12
ブドウを観測してビューアで観察したところ，果粒や穂軸の生長度，果実色や葉色の
13
変化，損傷の検出，虫の検出，作業の痕跡の検出を行うことができた．このような情
14
報は生育ステージを特定してその後の栽培管理計画を立案したり，病害の経過観察を
15
行って適切な防除方法を選択する上で有用な生育情報だと考えられる．
16
17
今後，可視光線以外の光線や蛍光の自動取得，人材育成システムへの応用なども視
野に入れ，システムの改良に取り組む予定である．
18
19
20
21
謝辞
本研究の一部は総務省戦略的情報通信開発制度（SCOPE ，課題番号 102304002）
により実施されました．ここに謝意を表します．
22
6
1
引用文献
2
青野康廣（2010）デジタル写真の基礎(5) 4.デジタルカメラの工学系(I)，日本写真学
3
4
会誌, 73(3):175-179.
Díaz, S. E., J. C. Pérez, A. C. Mateos, M.-C. Marinescu and B. B. Guerra (2011) A novel
5
methodology for the monitoring of the agricultural production process based on wireless
6
sensor networks, Computers and Electronics in Agriculture, 76(2):252-265.
7
8
9
深津時広・平藤雅之（2003）圃場モニタリングのためのフィールドサーバの開発，農
業情報研究, 12(1):1-12.
Garcia-Sanchez A.-J., F. Garcia-Sanchez and J. Garcia-Haro (2011)
Wireless sensor
10
network deployment for integrating video-surveillance and data-monitoring in precision
11
agriculture over distributed crops, Computers and Electronics in Agriculture,
12
75(2):288-303.
13
Hirafuji, M., H. Yoichi, M. Wada, T. Fukatsu, T. Kiura, H. Shimamura, H. Hu and S.
14
Ninomiya (2005) Field server: multi-functional wireless sensor network node for earth
15
observation, In Proc of the 3rd international conference on Embedded networked sensor
16
systems (SenSys '05), 304-304.
17
Honda, K., A. Shrestha, A. Witayangkurn, R. Chinnachodteeranun and H. Shimamura (2009)
18
Fieldservers and sensor service grid as real-time monitoring infrastructure for ubiquitous
19
sensor networks, Sensors, 9(4):2363-2370.
20
神谷俊之・沼野なぎさ・柳生弘之・島津秀雄（2011）携帯電話によるミカン圃場から
21
の栽培データの収集と栽培データの地域での共有のための web インタフェース，
22
農業情報研究，20(3):95-101.
23
Kobayashi, K., S. Toda, F. Kobayashi and Y. Saito (2012) Web-based image viewer for
24
monitoring high-definition agricultural images, SICE Journal of Control, Measurement,
25
and System Integration, 5(1):13-17.
26
López Riquelme, J.A., F. Soto, J. Suardíaz, P. Sánchez, A. Iborra and J.A. Vera (2009)
27
Wireless Sensor Networks for precision horticulture in Southern Spain, Computers and
28
Electronics in Agriculture, 68(1):25-35.
29
Matese, A., S.F. Di Gennaro, A. Zaldei, L. Genesio and F.P. Vaccari (2009) A wireless sensor
30
network for precision viticulture: The NAV system, Computers and Electronics in
31
Agriculture, 69(1):51-58.
32
Morais, R., M.A. Fernandes, S.G. Matos, C. Serôdio, P.J.S.G. Ferreira and M.J.C.S. Reis
33
(2008) A Zigbee multi-powered wireless acquisition device for remote sensing
34
applications in precision viticulture, Computers and Electronics in Agriculture,
35
62(2):94-106.
36
Motonaga, Y., H. Kondou, A. Hashimoto and T. Kameoka (2004) A method of making digital
37
fruit color charts for cultivation management and quality control, Journal of Food,
38
Agriculture & Environment, 2(3&4):160-166.
39
南石晃明・菅原幸治・深津時広（2007）RFID を用いた農作業自動認識システム，農
7
1
2
3
4
業情報研究, 16(3):132-140.
坂上隆・南石晃明・竹内重吉（2012）企業農業経営における農作業標準化と人材育
成，農業情報学会 2012 年度講演要旨集，161-162.
Sun, Y., L. Li, P. S. Lammers, Q. Zeng, J. Lin and H. Schumann (2009) A solar-powered
5
wireless cell for dynamically monitoring soil water content, Computers and Electronics
6
in Agriculture, 69(1):19-23.
7
8
9
田中慶・平藤雅之（2009）農業モデルにおける Web 地図サービスを利用した地図イ
ンタフェース，農業情報研究, 18(2):98-109.
戸上崇・伊藤良栄・橋本篤・亀岡孝治（2011）高品質ミカン生産を目的とするセン
10
サーネットワークを利用した圃場環境計測，農業情報研究, 20(3):110-121.
11
Wright, M. and A. Freed (1997) Open Sound Control: A New Protocol for Communicating
12
with Sound Synthesizers, In Proc. of the International Computer Music Conference,
13
101-104.
14
安川雅紀・絹谷弘子・溝口勝・木浦卓治・喜連川優（2011）PDBFM：フィールドモ
15
ニタリングのためのデータブラウザ，情報処理学会論文誌, 52(12):3682-3698.
16
8
1
図表ページ
2
3
4
5
図1
高精細画像比較システムの構成
観測デバイスは，一眼レフカメラ（EOS Kiss F，Canon, 東京都），小型コンピュー
6
タ（USL-5P，I-O DATA ，石川県），USB 温湿度センサ（USBRH，Strawberry Linux，
7
東京都）から構成される．USL-5P の OS を Debian Linux に変更し，オープンソースソ
8
フトウェア gPhoto2（<http://www.gphoto.org>，2012 年 3 月 28 日参照）からカメラの
9
制御を行う．温湿度センサ値の取得にはセンサ値取得ソフトウェア
10
（<http://www.dd.iij4u.or.jp/~briareos/soft/usbrh.html>，2012 年 3 月 28 日参照）を使用し
11
ている．
12
9
1
2
図2
Web 画像ビューアのユーザインタフェース
3
画像は一ヶ月分がウィンドウの左上を原点として配置される．横軸方向が時刻，縦
4
軸方向が日付をあらわす．コントロールウィンドウの「＋1 日」，
「－1 日」，
「＋1 時間」，
5
「－1 時間」ボタンを押すと，それぞれ画像一枚分だけ上下左右の方向に移動できる．
6
画像上には撮影日時と温湿度が表示される．画像をクリックすると，ウィンドウの右
7
下にその原画像へのリンクが表示される．ログインボタンを押すとユーザ ID とパス
8
ワードを求めるウィンドウが表示され，あらかじめ登録した情報を入力することで，
9
コメントが付与できる状態になる．
10
11
以下の図は省略
12
10
1
表1
高精細画像比較システムのアプリ試作とテストのシステム構成
ガジェットの OS
開発システム
Google Android
Apple iOS
ASUS Motherboard ATX PC
Apple Macmini (Mac OS
(Microsoft
X 10.6.6, Intel Core2 Duo
*
ハードウェア
Windows
Professional
Pentium
D
7
32bit,
Intel
3.0GHz,
3GB
2.4GHz, 2GB Memory)
memory)
開発環境
Eclipse 3.6 Helios + Android
Xcode 3.2.5
SDK 3.0
プログラミング言語
テストシステム
Java
Objective-C
*
スマートフォン型ガジ
Huawei
ェット
(Google Android 2.2.1, LCD
MC544J/A 32GB (Apple
2.8 inch 320x240, Qualcomm
iOS 4.2, LCD 3.5 inch
MSM7225 528MHz, 256MB
960x640,
Memory)
800MHz, 256MB Memory)
IDEOS
U8150-B
Apple
iPod
touch
Apple
A4
タブレット型ガジェッ
Acer
TAB
Apple
iPad
ト
A500-10S16 (Google Android
32GB
(Apple
3.1.1,
inch
LCD 9.7 inch 1024x768,
1280x800, NVIDIA Tegra 2
Apple A5 1GHz, 512MB
(ARM Cortex-A9)
Memory)
ICONIA
LCD
10.1
1GHz,
2
MC770J
iOS
4.3,
1GB Memory)
2
* 開発システムはアプリ試作に用いたパソコン等を、テストシステムはアプリの動作
3
試験に用いた機器を、それぞれ示す。
4
5
上記は表のサンプルとして提示
6
11
1
High-definition Image Comparison System for Growth
Information Extraction
2
3
4
Kazuki Kobayashi*1) and Yasunori Saito2)
5
6
1)
Graduate School of Science and Technology, Shinshu University,
7
4-17-1 Wakasato, Nagano City, 380-8553 Japan
8
9
2)
Faculty of Engineering, Shinshu University, 4-17-1
10
Wakasato, Nagano City, 380-8553 Japan
11
12
Abstract
13
In this paper, we propose a high-definition image comparison system to extract information
14
about growing conditions between images. In the cultivation of crops, physiological data and
15
environmental data are important to achieve an increase in crop yields. However, it is a
16
burden for farmers to collect such data on a daily basis. Against this backdrop, we have
17
developed a monitoring system to automatically collect high-definition crop images, which
18
can be viewed on a specialized Web-based image viewer and a synchronized viewer. Users
19
can easily observe detailed crop images over the Internet and easily find differences among
20
the images by using the two viewer together. Moreover, they can add comments on an image
21
for other users to access it easily. The use case suggested that the proposed system can
22
provide an efficient way to extract information for identifying a growing stage of crops.
23
24
Keywords
25
Monitoring system, high-definition image, growth information extraction, image comparison
26
viewer
27
28
* Corresponding Author
29
E-mail: [email protected]
30
Tel: +81-12-345-6789
12

Download Report