HAI シンポジウム 2016 Human-Agent Interaction Symposium 2016 P-12 行動特性に基づく 人間の興味の発見 北川 遼 1 ∗ Ryo Kitagawa1 長谷川 孔明 1 Komei Hasegawa1 今井 倫太 1 Michita Imai1 慶應義塾大学 Keio University 1 1 Abstract: 人間の行動は様々 な 意図が絡んで決定づけ ら れて いる . 人間の行動から 意図を 発見し モ デル化する こ と は人間の行動様式の理解を 深め , 行動から 意図を 推定する 事に 必要不可欠であ る . 本 稿では意図の中でも 特に「 興味」 に 着目し , 自然な 意図の発見のため実験室ではな く 実際のポス タ ー やロ ボッ ト 等の発表の場と いう 条件の下, 発表者やそ の聴衆がいる 中で自然に 興味を 持っ た人間がと る 行動の特徴を 考え る . 1 はじ めに 人間の行動は様々 な 意図に 基づき 決定さ れる ． よ っ て ， 人間の行動を 解析する こ と でそ の人間の意図を 読 み取る こ と ができ る ． ユーザと エージェ ン ト と のイ ン タ ラ ク ショ ン において ， エージェン ト がユーザの意図を 読み取る こ と は， ユーザの意図に そ っ た 情報の提示や 活動の支援を する こ と において 必要不可欠である ． よ っ て ， エージェ ン ト は人間の行動から そ の意図を 読み取 る 必要があ る ． 本研究では意図の中でも 実際の行動に 結びつき やすい「 興味」 に 着目し ， 自発的な 人間の行 動から 興味を 読み取る こ と について 取り 組む．（ 図 1) 人間の興味の推定に 関する 研究の例と し て ， 林ら は 視線を 軸に ユーザの興味を 推定する シ ス テ ム [1] を 提 案し た ． こ の研究はユーザの前に あ る 画面に いく つか のス ラ イ ド を 表示し ， ユーザの視線と 発話から 最も 興 味のあ る 事項を 推定し 提示し た ． ま た ， 中野ら は没入 型の会話環境を ユーザに 提示し ， そ の環境に 存在する エージェ ン ト と ユーザと の会話に おけ る 話題を ユーザ の視線から 決定し た [2]． し かし ， こ れら の従来手法は実験室環境で行われて おり ， ユーザに は予め実験者に よ り ど のよ う な タ ス ク を 実行する のか指示さ れて いる ． さ ら に シス テ ム が対 応でき る ユーザは１ 人に限ら れており ， ユーザと システ ムが向かい合っ た状態での興味推定を 行っ て いる ． その ため， ユーザはシステムから 離れる こ と ができ ず， ユー ザの興味の対象は， 必然的に シス テ ム 内のト ピ ッ ク に 限定さ れて し ま う ． し かし な がら ， ユーザの興味は自 然発生する も のであ り ， 状況が固定さ れた 実験室環境 で単独に 行われる も のではユーザの自然な 興味を 測定 する のは難し い． ま た ， 人間の興味は対象物だけ に 起 ∗ 連絡先： 慶應義塾大学理工学部情報工学科 〒 223–0061 神奈川県横浜市港北区日吉 3–14–1 E-mail: [email protected] 図 1: 対象物に 興味を 持つ人の様子 因する も のではな く ， 対象を 注視し て いる 他の人間や， そ の対象を 広告する 発表者な ど に も 起因し う る こ と が 考え ら れる ． そ こ で， 本研究ではユーザが移動し な がら 自由に 興 味の対象を 選択でき る 実環境に おいて ， 興味を 持っ た 人間の行動モデルを 分析し ， 分析し た 行動モデルに 基 づき 興味を 持っ て いる 人間の推定， 提示を 行う シス テ ム を 提案する ． はじ めに ， 発表の場で興味を 持っ た 人 間がど のよ う な 行動を 取る かを 調べる た め， 実際の見 本市や発表会， 学会で予備実験を 行っ た ． 予備実験の 結果， 興味を 持っ た人間は対象物を 注視する と と も に ， 移動速度が低下する こ と がわかっ た ． よ っ て ， 本研究 は人間の視線方向と 移動速度の２ つの特徴から 行動モ デルを 構築し ． あ る 特定の対象物に 興味を 持っ た と 思 われる 人間の検出を 行う ． こ のシス テ ム を 用いる こ と で， 例え ばど のよ う なポスタ ー， ト ピッ ク に対し て 人々 は興味を 向け る のか， ロ ボッ ト やハード ウ ェ ア であ れ ばど のよ う に 人々 へア プロ ーチを すれば興味を 集める こ と ができ る のかを 調べる こ と ができ る と 考え ら れる ． 2 従来研究 シス テム がユーザに 対し て 様々 な ト ピッ ク を 提示し ， ユーザが興味を 示し たも のを 推定する 問題について， 多 く の研究が取り 組んでいる ． 林ら が提案し た ， 視線を 軸にユーザの興味を 推定する システム [1] では， システ ム がポス タ ー発表を 行い， プレ ゼン テ ーショ ン 時の補 足説明や， ト ピ ッ ク の解説な ど の必要性を ユーザの視 線と 発話から 判断し た ． ま た ， 中野ら は没入型の会話 環境を ユーザに 提示し ， そ の環境に 存在する エージェ ン ト と ユーザと の会話に おけ る 話題を ユーザの視線か ら 決定し た [2]． ま た， 倉野ら はモバイ ルデバイ ス を 視 聴し て いる ユーザの反応を セ ン サで検知し ， そ れを 興 味推定に 用いる シス テム [3] を 提案し た． こ れら の研究では， シス テ ム がユーザと 大き く 面し て いる た め， ユーザがハード ウ ェ ア に 興味を 向け る こ と が興味推定の前提と な っ て いる ． し かし ， ユーザは シス テ ム の前から 移動せず， シス テ ム 自身がユーザの 興味を 促し て いる た め， ユーザの自発的な 興味を 推定 し て いる と は言え な い． 実際に ユーザの自然な 意図を 推定する た めに は， ユーザが自発的に 興味を も ち ， 行 動し た 様子から 推定する 必要があ る ． よ っ て 本研究で は， ユーザが自由に 興味の対象を 選択でき る 実環境で の興味の推定を 試みる ． 3 3.1 同時に ， 対象物を 理解する た めに 長く 観察し よ う と す る ので， ゆっ く り と 歩き な がら 対象物へと 近づく 様子 が観察さ れた ． よ っ て ， 通行人の視線方向と そ の移動 速度に 着目する こ と で興味を 持っ て いる 人間を 発見で き る と 考え ら れる ． 本研究は人間の視線方向と 移動速 度に 基づき 興味の推定を 行う ． 興味の推定 想定さ れる 環境 本研究では， ある 特定の対象物に対し て ， 興味を 持っ た 人間を 推定する シス テ ム を 提案する ． 実環境と し て 図 2 のよ う な 展示ブース を 想定し ， 対象物の他に も 別 のポス タ ーやロ ボッ ト な ど の展示物， ま た そ れら に 興 味を 持ち 集ま っ た 他の人々 な ど ， 様々 な 興味を 引く 対 象が存在し ， 人間は自由に 移動でき る 場面に ついて 考 え る ． こ のよ う な 状況で， ユーザは興味の対象を 自由 に 選択でき ， 自然に 発生し た 興味に 基づいた 行動を 行 う こ と ができ る と 考え ら れる ． 3.2 図 2: 想定さ れる 環境の例 興味を 持っ た人の特徴 興味を 持っ た 人間がど のよ う な 行動を 取る のか調べ る た め， 予備実験と し て 発表会に 赴き ， 展示内容に 興 味を 持っ た 人の様子を ビデオカ メ ラ で撮影し た ． 予備 実験の結果， 対象物へ興味を も っ て いる 人間は図 3 の よ う に対象物を 注視し な がら 移動する 様子が見ら れた． 図 3: 興味を 持っ て いる 人間の例 4 実装 本研究は人間のよ り 自然な行動を 観察し たいため， そ れ自体が興味を 引く よ う な 巨大な 測定シス テ ム の使用 は望ま し く な い． 人間から 見え る シス テ ム の大き さ を 最小限に する た め， 本研究で使用する ハード ウ ェ ア は 小型の Web カ メ ラ のみと する ． Web カ メ ラ から 取得 さ れた 映像から 顔と そ の人間の検出を 行い， そ こ から 視線方向と 移動速度を 推定， 対象物を 注視し て いる と 思われる 人物を 表示する ． こ こ で表示さ れた 人物がど のよ う な 行動を 取る のか， そ の視線方向と 移動速度に 基づいて 解析し ， 実際に 興味を 持っ て いる と 思われる 人間を 提示する ． 4.1 視線方向の検出 人間の顔と そ の視線方向を 検出する 手法と し て ， 二 次元の映像情報から 複数人の顔と そ の視線方向を 検出 でき る OpenFace[4] を 用いた ． こ こ で検出し た 顔と そ の視線方向から ， 対象物への注視時間を 測定する ． 顔 検出と 視線方向推定の様子を 図 4 に 示す． 図 4 の左は Web カ メ ラ で取得し た画像であり ， 検出し た顔上に 赤 い点で顔のモデルを 重畳し て 表示し て いる ． 図の右上 の白い顔のモデルは， 検出し た 顔の位置と 方向を 仮想 的に 表示し て おり ， そ の顔から 推定し た 視線方向を 青 い棒線と し て 表し て いる ． ま た ， 図の右下の物体は展 示物な ど の対象物の位置である ． 5 まとめ 本研究では， 人間の行動特性から 意図を 発見する た めに ， 行動に 結びつき やすい興味に 着目し ， 人間の行 動から 興味の対象を 推定する 手法について 取り 組んだ． 人間が自由に 移動し な がら ， 興味の対象を 選択でき る 実環境下に おいて ， 興味を 持っ た 人間がど のよ う な 行 動を 取る か調べる た め予備実験を 行っ た ． 予備実験の 結果， 興味を 持っ た 人間はそ の視線方向と 移動速度に 特徴が見ら れる こ と がわかっ た ． よ っ て ， 本研究は人 間の視線方向と 移動速度に 着目し ， こ の２ つの特徴に 基づく 人間の行動モデルから 興味を 持っ た 人間を 推定 する シス テ ム を 提案し た ． 今後の展望と し て は， 興味 を 持っ て いる 人間はど のよ う な 特徴を 持つ行動を 取る のかを 更に 掘り 下げて いき たいと 考え て いる ． 参考文献 [1] 林 宗一郎， 吉本 廣雅， 平山 高嗣， 河原 達 也: マ ルチモーダルな 認識に 基づく ポス タ ー発表 シス テム , IPSJ Interaction, pp. 505–508 (2012) [2] 中野 有紀子， 岡 兼司， 佐藤 洋一， 西田 豊 明: ユーザーの視線に気づく 会話エージェント , The 19th Annual Conference of the Japanese Society for Artificial Intelligence, pp. 505–508 (2012) 図 4: 顔検出と 視線方向推定の様子 4.2 移動速度の検出 人の検出を 行う ための手法と し て Faster-RCNN[5] を 用いた ． こ の手法と 4.1 節で示し た 手法と を 組み合わ せる こ と で， 視線方向から 対象物を 注視し て いる と 思 われる 人物を 矩形表示する ． こ の矩形の移動速度から ユーザの移動速度を 測定する こ と ができ る ． 4.3 興味を 持っ て いる 人の推定 得ら れた 注視時間と 移動速度を パラ メ ータ と し ， 機 械学習を 行う こ と で行動モデルを 構築する ． こ の行動 モデルに 基づき 検出器を 作成する こ と で， 興味を 持つ 人物の推定を 行う こ と ができ る ． [3] 倉野 大二郎， 松村 耕平， 角 康之: マ ルチ モ ー ダルデータ を 用いた 映像閲覧者の興味推定, IPSJ Interaction, pp. 435–439 (2013) [4] Baltru, T., Robinson, P., and Morency, L. P. : OpenFace: an open source facial behavior analysis toolkit, IEEE Winter Conference on Applications of Computer Vision, pp. 1–10 (2016) [5] Ren, S., He, K., Girshick, R., and Sun, J.: Faster R-CNN: Towards real-time object detection with region proposal networks, dvances in neural information processing systems, pp. 91–99 (2015)
© Copyright 2024 Paperzz
