画像処理による視線検出アルゴリズムの開発 ○米沢徹也 谷崎広幸 （八代高専） （ 熊 白谷和幸 本 大 園田頼信 学 ） １． はじめに 近年，視線を利用してコンピュータを操作するいわ ゆる，マンマシーンインタフェースや機器制御への応 用の研究が盛んに行われている[１]． 本稿ではまず小型カメラを用いた目画像入力装置 について報告する．次に，撮影した目画像から黒目を 抽出し，その中心位置を求めるアルゴリズムについて 報告する． 虹彩(黒目) 角膜 視線 ２． 目画像入力装置の概要 図１にヘルメットに小型カメラを取り付けた様子を示 す．小型カメラは被験者に応じて最適な位置に調整が 可能である． カメラから取り込んだ画像はフレーム単位にディスク に格納できるようにした．また，フレーム単位にリアル タイムで視線検出が行えるように，２つのフレームバッ ファを用いている．取り込まれる画像はサイズ 640× 480 のカラー画像である． 瞳孔 眼球中心 図２ 視線と眼球 HIS変換 色空間フィルタリングによる黒目領域抽出 （2値化） 黒目領域よりまつ毛の除去 黒目領域のための円形パターンの半径抽出と 円形パターンの作成 （基準フレームへの処理） 図 1 小型カメラのヘルメットへの装着 640×480 の原画像は平均化処理により 320×240， 160×120，80×60 の画像サイズに圧縮できるようにな っている．ここでは，予備実験により，黒目中心を検出 するために適当と思われる 80×60 に圧縮した画像を 処理画像として用いた． ３． 黒目中心検出アルゴリズム 本稿では，視線は図２に示すように，黒目中心（瞳 孔）と眼球中心を結んだ延長線とみなした．このため黒 目部分を円と仮定し，目画像から切り出した黒目に当 てはめた円の中心の検出を行った．黒目中心の検出 処理の流れを図３に示す． 入力画像に対する円形パターンマッチングによる 黒目中心検出 図３ 黒目中心検出処理の流れ ４． 色空間フィルタリング 黒目とその他の領域を分離するために，下記の（１） ～（４）式を用いて RGB 空間から HSI 空間へ変換した ［２］．H，S，I それぞれの空間上で黒目領域の分離に ついて検討した結果，S（彩度）と I(明度)が切り出しに 適していることがわかった［３］．原画像（640×480）に 平均化処理を行った画像（80×60）に対し，S と I の濃 度ヒストグラムを 120～255，0～70 の範囲（色空間フィ ルタリング）でそれぞれ切り出した．図４に処理の１例を 示す． ５．円形パターンマッチング R r= , 255 G B g= , b= 255 255 (1) 3 ( g − b) (r − g ) + (r − b) ( 0 < H < 2π ) H = tan −1 S = 1− I = (2) Min , Min = min(r , g , b) I r+ g +b 3 (3) (4) ただし， R = G = B = 0 は特異点で H = 0 ． (a)目画像（80×60） 実験の最初に正面を向いた画像を 1 フレーム（基準 フレーム）取り込み，この画像に対して HSI 変換，色空 間フィルタリング，まつ毛除去の各処理を行った後，黒 目に相当する円（基準円）の半径を求め，円形パター ンを作成した． 黒目中心を求める画像に対して，HSI 変換，色空間 フィルタリング，まつ毛除去の各処理を行った後，基準 円の半径は不変と考え，基準円の中心座標のみを順 次変化させた．入力した黒目画像から求めた円との一 致度が最大となる基準円の位置を捜し出し，その中心 座標を黒目の中心とした．この処理により検出した黒目 中心が表示された画像を図６に示す． （ｂ）彩度画像 図６ 黒目中心検出結果 （ｃ）明度画像 （ｄ）色空間フィルタリング により検出された画像 図４ 目画像の色空間フィルタリング 図４の(a)は処理対象画像，（ｂ）は彩度（S）画像，（ｃ） は明度（I）画像，（ｄ）は色空間フィルタリングにより検出 された黒目領域の２値画像を，それぞれ示す． 切り出した黒目領域にはまつ毛部分が含まれる例 が多く見られた．円形パターンマッチングの処理を行う 場合にまつ毛部分を誤って黒目と検出する検出ミスが あることが実験により確認されたので，まつ毛部分を除 去する処理を行った．画像の上部から下部に向かって 順次走査し，まつ毛の画像を除去した．まつ毛除去処 理前後の画像を図５に示す． （a） まつ毛除去前 （ｂ）まつ毛除去後 図５ まつ毛除去処理前後の画像 ６． まとめ 目画像入力装置の概要と視線検出アルゴリズムに ついて報告した．処理速度は図４の(a)に示した80×60 の画像の場合，１フレームあたり 57.5ｍｓで，これは 17.4ｆｐｓの処理速度になる． 今後，画像の解像度が視線検出精度に与える影響 やフレーム間の黒目中心の予測アルゴリズムの導入に より探索範囲を限定した検出処理の高速化について 検討を行う予定である． 文 献 ［１］ 藤和之，“画像センサを用いた眼球運動による環 境制御システム”，信学誌，vol．85，no．１，pp．57 ―59，2002． ［２］J.Kender,”Saturation,hue,and normalized color:Calculation, digitization,and use”,Computer Science Technical Report,Carnegie-Melon University,1976. ［３］谷崎広幸，米沢徹也，園田頼信，“画像処理による視 線検出アルゴリズムの開発”，平成 14 年度電気関係学会 九州支部連合会大会論文集，ｐｐ．149，2002． 問合せ先 八代工業高等専門学校 情報電子工学科 米沢徹也 tel 0965―53―1303 E－mail [email protected]
© Copyright 2024 Paperzz
