適応的背景変更による食材の領域と色の抽出 Region and Color Extraction for Food Product by Background Image Control 川西康友*1　山肩洋子*２　角所考*３　美濃導彦*３ Yasutomo Kawanishi　Yoko Yamakata　Koh Kakusho　Michihiko Minoh *1 ２３京都大学工学部情報学科　* 京都大学大学院情報学研究科　* 京都大学学術情報メディアセンター *1 School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University 1.緒論我々は調理の状況に従い、レシピに基づいて調理を支援するシステムの実現を目指している。そこで、調理台をカメラで撮影して調理者が扱っている食材を、リアルタイムに認識する必要がある。このためにはまずカメラ画像から食材領域を抽出する必要があるが、調理台上で行なわれる作業は切る・混ぜる・整形するなど対象食材を変形させ、複雑な形状になる場合が多いため、そのような複雑な食材領域を正確に抽出できる必要がある。調理者や調理器具によるオクルージョンを避けるため、調理台を調理台の上方からカメラで撮影するものとすると、前景の食材を抽出するには背景差分を用いるのが一般的である。しかし手や食材の影が調理台の天板に映るため、背景差分の閾値を大きく設定しなければ影の領域も食材領域とみなされてしまう。しかし、背景差分の閾値が大きいと逆に食材領域が欠損し、正確な抽出を妨げる。また、食材と背景の関係によっては、背景色が食材に映りこんでしまい、食材の色とは異なる色が観測されてしまう。そこで、本研究では食材の特徴に応じて背景色を変更することにより正確な食材の領域と色を得ることを目指す。 2.背面ディスプレイによる食材観測システム本研究では、前景の食材に応じて背景の色をコントロールするため、図 1 のようなシステムを用いる。調理台の上方にカメラを設置し、調理台全体を観測する。調理台の天板には液晶ディスプレイを埋め込む。埋め込んだディスプレイを背面ディスプレイと呼ぶ。このようなシステムでは、ディスプレイに表示する映像の輝度によって普通なら天板に生じる影をキャンセルできる。この下で、カメラで撮影した画像より前景の食材を領域抽出部で抽出する一方、その結果に基づき各食材ごとに適切な色の背景領域を背景生成部によって生成し、ディスプレイに表示し、その画像から再び領域抽出部によって食材の領域を抽出する。図 1　背面ディスプレイによる食材観測システム背面ディスプレイを用いると、ディスプレイに入力した色データと、ディスプレイをカメラで撮影した画像中の色データは一致しないという問題が生じる。撮影画像で背景差分を行なうためには、ディスプレイへの入力データがカメラ画像中でどんな色データになるのかを正確にわからなければならない。そこで、あらかじめさまざまな色を表示したものをカメラで撮影しておくことで、ディスプレイへの入力値と観測画像中の色との関係と、その表現できる色空間の対応関係を計測し、対応表を作成しておく。その表に従い観測画像中に表示したい色を逆引きすることにより、ディスプレイへの入力値を決定する。 3.食材に応じた背景画像変更による特徴抽出 3.1　食材の特徴抽出に適した背景色食材領域を抽出するには、食材の色が背景色と明確に異なることが望ましい。特に輪郭部分の色が背景色と大きく異なると輪郭がより正確に抽出できる。さらに食材に光沢がある場合には背景の映り込みが生じるので、食材の輪郭部分を正確に抽出するには背景色の明度も重要となる。これらのことから、背景色としてクロマキー合成でよく用いられる青色の固定背景を用いるだけでは不十分であり、観測画像中で食材ごとにその色相の補色で、かつできるだけ大きな明度差になるような色を背景にすることが望ましい。さらに、抽出された領域の画素値に基づいて、食材色を抽出する場合、背景が暗いと食材周辺は影になり、背景が明るいと食材に映り込みが発生するため、ディスプレイの輝度が暗すぎても明るすぎても食材全体の色が正確に抽出できない。これについては、背景の輝度を変化させて撮影した画像から抽出した食材色を比較したところ、背景を食材の領域のヒストグラム分散が最も小さくなるような明度にしたとき、最も広い領域で食材の反射特性に忠実な色を抽出できることがわかった。 3.2　アルゴリズム以上の議論に基づいて食材の正確な領域および色を次のようなアルゴリズムで抽出する。全体が青色の食材は存在しないことから、ディスプレイ全面に青色を表示し、青色以外を抜き出すことよっておおまかな食材領域 X を得る。得られた各食材領域 X に対し、観測画像中で、食材領域 X を囲む領域 Y を設定し、Y がその X の中心色の補色となるように Y の色を設定して、表示する。この領域Ｙを背景とする背景差分によって正確な食材領域 X’を得る。得られた正確な食材領域 X’に対し、X’内の明度分散が最小となるよう、3.1 の分析に基づいて領域 X'を囲む領域 Y’ の色を変えていく。X’の明度分散が最小となったときの X’ の色を食材の色として抽出する。 4.まとめと今後の課題食材ごとに背景色を切り替えることにより食材の領域と色を正しく得る方法を提案した。今後の課題は、本手法によって抽出した特徴量を用いた食材認識システムの実現である。