ドライバの頭部姿勢及び自車情報を用いた脇見状態推定手法

20075891
0-20075891 ドライバの頭部姿勢及び自車情報を用いた脇見状態推定手法
堀口研一 1）熊野史朗 1）山口大助 1)
佐藤洋一 1)
須田義大 1)
鈴木高宏 1)
Estimation of Inattention in Driving by Using Driver Head Pose and Vehicle Information
Kenichi Horiguchi
Shiro Kumano
Daisuke Yamaguchi
Yoichi Sato
Yoshihiro Suda
Takahiro Suzuki
This work deals with the problem of detecting driver’s looking aside while driving. The main challenge is how to
differentiate the two cases where drivers turn their faces as a part of normal driving behaviors, and where drivers get
distracted for some reason and, as a result, take their eyes off a road. Our solution for this problem is to incorporate
multiple observation cues in the dynamic Bayesian network framework such as the vehicle’s speed and relative
orientation to a road lane in addition to a driver’s facial orientation. We explain the algorithm of our method and report
experimental results conducted by using a driving simulator.
Key Words: ITS, Safety／inattentive driving, Dynamic Bayesian Network ⑬
1.
はじめに
バの顔向き情報だけでなく，運転操作や周辺状況の情報を考
近年の交通事故データによると，原付以上運転者（第１当
慮する必要があると考えられる．しかし，それらを考慮した
事者）の法令違反別の交通事故数における脇見による事故の
脇見検出手法は現在見当たらない．
割合は最近 20 年間以上徐々に増え続け近年では 15％以上を
一方，近年 ITS の分野において，様々な観測量を用いてド
占めている(1)．2004 年の改正道路交通法による運転中のカー
ライバの行動や状態をモデル化し認識する手法が研究されて
ナビゲーションや携帯電話の注視の禁止等の影響のため脇見
いる．脇見もドライバのふるまいの一種であるとすれば，こ
事故数は近年停滞しているものの，種々の ITS 機器の普及に
のモデル化のアプローチは脇見に対しても有用であると考え
よるドライバへの視覚的情報処理の負担が再び脇見事故の増
られる．既存研究の主なモデル化対象には，車線変更や停止
加につながる恐れもある．脇見事故削減には様々な対策が検
などの運転動作(5)(6)(7)や，ドライバの疲労度や集中度(8)(9)などが
討されているが，風景等の単調な道路を減らすといった脇見
ある．よく用いられる手法には，Hidden Markov Models
そのものを減らす対策のみならず，脇見を検出し適切に警告
(HMM)(5)(6)(7) や Bayesian Networks (BN)(8), Dynamic Bayesian
を行うことも重要である．
Networks(DBN)(9)(10)などがあり，これらは前述の行動群や様々
脇見検出に関する既存研究では，主にドライバの顔向きや
なドライバ状態のモデル化において一定の成果を挙げている．
視線方向を用いて前方不注視を検出し警告する手法が研究さ
これらの手法は，観測情報と非観測情報との間に確率的な
れている(2)(3)．これらの手法で観測として用いられる顔向きや
関係があるとし，それらを有向グラフを用いて記述する．従
視線方向は，ドライバへの影響を考慮し非接触・非侵襲的な
来研究では，HMM は時系列情報を扱えるため，運転行動のモ
動画像処理により取得される．しかし，顔向きや視線方向の
デル化に用いられてきた(5)(6)(7)．また，BN は複雑なネットワ
みを用いた脇見検出では，安全確認などの首振りを伴う運転
ークトポロジーの記述性を有しているため，ドライバ状態の
行動を脇見と誤認識する問題がある．そこで本稿では，首振
推定に用いられてきた(8)．しかしそのどちらも，脇見のような
り角度のみでは判定できないような場合においても脇見をよ
複雑な要素の関係性と時系列情報の両方をモデル化するのに
り正確に検出することを目的とする．
十分な記述性を持ち合わせていない．これに対し DBN は，要
また，脇見の分析研究では，ドライバの脇見持続時間とそ
の時の擬似衝突余裕時間(先行車との車間距離/自車速度)との
素間の複雑な接続形態と時系列情報の両方を表現するのに十
分な記述性を有している．
間に高い相関がみられ，運転操作や周辺状況と脇見との間の
以上を踏まえ，本稿では首振り角度に加えてドライバの運
強い関係性が指摘されている(4)．よって，脇見検出ではドライ
転操作やその時の自車状態などの各種情報を融合した手法を
提案する．我々は，特に脇見に顕著な特徴である複雑な要素
*2007 年10月17日自動車技術会秋季学術講演会において発表．
の関係性に着目し，この関係性を十分に記述可能で，且つ時
1)東京大学生産技術研究所(153-8505
系列での観測情報を利用可能なモデルとして DBN を用いる．
4-6-1)
東京都目黒区駒場
そして，各時刻における脇見の確率をその時刻までに得られ
ている首振り角度や運転操作，自車状態などの各種観測情報
から逐次的に推定する．
2.
2.1.
提案手法
Dynamic Bayesian Networks を用いた脇見状態推定
本手法では，ドライバの顔向き情報及び運転状況の観測履
歴から各時点での脇見度合を Dynamic Bayesian Networks
(DBN)を用いて算出する．DBN とは，隠れ状態変数（観測履歴
からは直接得ることのできない変数）と観測変数（直接観測
可能な変数）との間に確率的な関係性がある時に，有向グラ
フを用いてその関係性を記述する手法である．DBN ではこの関
係性を定常状態と仮定し定量的に学習することで，ある時刻
Fig. 1 The DBN model used in this work
までの観測変数の状態履歴からその時刻の隠れ状態変数の値
の尤もらしさを確率的に算出することができる．なお，本手
Table 1 Observables
法に用いた脇見モデルでは，脇見状態が 1 次マルコフ過程に
Observables
従い，且つ，観測変数がその時の脇見状態のみに影響を受け
・Steering wheel angle [deg]
るものと仮定した．Fig. 1 に用いた DBN ネットワークトポロ
Driving
ジーを示す．ここで，Xt 及び Zt=｛Zt(1),‥, Zt(N)｝は時刻 t お
Operation
ける脇見状態変数及び観測変数を表す．Xt は状態として｛ON，
・Gas pedal pressure[%]
・Position of brake pedal[m]
・Direction indicator（ON/OFF）
OFF｝のいずれかの値をとる．また，N は観測変数の種類の数
・Speed [km/h]
であり，各観測変数 Zt(k)は状態として連続量を離散化した離
Vehicle
散値をとる．離散値の数はウインカーを除く全観測量におい
Status
て 12 とする．ウインカーの離散値の数は左右それぞれ｛ON，
・Acceleration[m/s2]
・Distance from centerline [m]
・Angle against centerline[rad]
OFF｝の 2 値とする．使用する観測量（観測変数）を Table 1
Driver
に示す．
Information
・Yaw angle of driver’s head[deg]
（head rotation of horizontal direction）
このとき，時刻 t まで全観測（入力）情報 Z1:t に基づいた時
刻 t における脇見状態変数 Xt の事後確率分布 P(Xt|Z1:t)は，
(1)
2.2.
式のように再帰的に計算される．
本手法では，全ての時刻において脇見状態及び観測変数が共
モデルの学習方法
に既知であるデータから，遷移モデル及び観測モデルの学習
を行う．なお，脇見状態及び各観測変数は全て離散量として
P( X t 1 | Z1:t 1 )
いるので遷移モデル及び観測モデルは対応するフレームのカ
N
  P ( X t 1 | Z
(k )
1:t 1
ウントにより算出される．具体的な算出式は(2)，(3)式であ
)
k 1
る．
N
   P ( Z t(k1) | X t 1 , Z 1(:tk ) ) P ( X t 1 | Z 1(:tk ) )
k 1
P( X t 1  i | X t  j ) i , j{ON / OFF}
N
   P( Z t(k1) | X t 1 ) P( X t 1 | Z 1(:tk ) )

k 1
N
   P(Zt(k1) | X t 1 )  P( X t 1 | xt ) P( xt | Z1(:tk ) )
k 1
xt X t
(1)
(2)
P( Z t( k )  z | X t  i ) i{ON / OFF}

ここで P(Xt+1|Xt)は遷移モデル〔e.g. P(Xt+1=ON |Xt=OFF)：時
Frames{( X t 1  i )and ( X t  j )}
Frames( X t  j )
Frames{(Z t  z )and ( X t  i )}
Frames( X t  i )
(3)
刻 t において脇見をしていなかった時に次の時刻 t+1 で脇見
をしている確率〕， P(Zt(k)|Xt) は観測モデル〔 e.g.
なお，Frames{𝑦}は，条件𝑦を満たすフレームの数を表す．各
P(Zt(k)=z|Xt=ON)：時刻 t において脇見をしていた時に観測量
時刻における脇見状態，及び観測量の取得方法については第
Zt(k)が z の値をとる確率〕である．なお，脇見の遷移モデル及
3 章にて述べる．
び観測モデルは以下の方法により予め学習する．
2.3.
脇見検出方法
この DS の運転席前方及び左方に，頭部位置推定システム用
前節で得た遷移モデル P(Xt+1|Xt)，観測モデル P(Zt|Xt)，これ
の 3 台のカメラを設置した（Fig. 3，Fig. 4）．また，運転
までに得た観測 Z1:t，及び(1)式から，各時刻における脇見状
席後方上部に，車線変更など各時刻での運転行動やイベント
態P(Xt=ON|Z1:t)を推定する．
このとき脇見状態の推定値を𝑋𝑡 と
の検証用に運転席及び前方を広く録画するカメラを 1 台設置
置くと脇見状態推定結果は式(4)のように定義される．なお，
した（Fig. 3）．このイベント検証用カメラの画像を Fig. 5
ξは脇見検出に用いる閾値である．
に示す．その他に脇見発生用ターゲットの投影に用いるプロ
ジェクタを後部座席位置の左右外側に合計 2 台設置した
（Fig.
ON , if ( P( X t  ON | Z1:t )   )
Xˆ t  
 OFF, otherwise
(4)
3）．このプロジェクタは最大，上下 30[deg]，左右 40[deg]
の範囲に投影可能な広角レンズを搭載している．これらのプ
ロジェクタの設置位置は，首を振らなければ運転席から目視
3.
3.1.
実
験
システム概要
できない位置にターゲットが投影されるように決定した．な
お，脇見発生用ターゲットについての詳細は次節にて述べる．
本手法では，脇見状態の推定に統計的手法である DBN を用
いるため，各時刻における脇見状態及び観測量の正確な学習
データを必要とする．また，教師付き学習に用いる学習デー
タの取得には，明確に脇見を定義可能な環境下で実験を行う
必要がある．そこで，我々はドライビングシミュレータ（DS）
という完全に制御された環境下で実験を行うことによりこれ
らの問題を解決した（Fig. 2(11)，Fig. 3）．
Fig. 4 Three cameras for measuring driver’s head pose in 3D
Fig. 2 The driving simulator used in this experiment
Fig. 5 A wide field-of-view image of the system’s display
ドライバの首振り情報の取得には，文献(12)の頭部姿勢推
定手法を用いた．Fig. 6 に頭部姿勢追跡画像例を示す．本手
法では，この頭部姿勢推定システムで得られる情報のうち，
脇見状態を最も反映すると考えられるヨー角（鉛直軸周りの
回転角度）のみを観測情報として用いた．
Fig. 3 The system overview
Fig. 6 Three dimensional tracking of a driver’s face
3.2.
Fig. 7 The map of the test course used for experiments
脇見発生方法
本稿では，被験者 2 名(走行回数それぞれ 4 回)に対して実
在する高速道路を忠実に再現した規定コース（Fig. 7）を DS
で走行する実験を行った．このとき，被験者に対して走行中
に提示されたターゲットを目視するタスクを与え，これによ
り首振りを伴う脇見状態が発生する状況を再現した．また，
脇見以外に首振り動作が発生するように，被験者には首を左
右に振る運転動作として，安全の範囲内で車線変更を頻繁に
行うことを指示した．
タスクで使用するターゲットは，プロジェクタを用いて DS
のスクリーン上に投影した（Fig. 8）．提示の時間間隔，投
影に使用するプロジェクタの選択，プロジェクタ投影可能範
Fig. 8 An example of target images
囲内でのターゲットの提示位置，及び提示するターゲットの
種類は全てランダムとした．なお，提示間隔は平均 2.2[回
3.3.
/min]，1 ターゲット当たりの提示時間は 5[sec]，ターゲット
前述の方法に従って獲得したデータを，被験者ごとに
実験結果
の種類は 51 種類とした．提示するターゲットには，道路標識
leave-one-out 法を用いて学習し，Ground Truth との比較に
やドライバの興味を引く画像，四字熟語などを用いた．また，
より本手法の脇見検出の精度評価を行った．推定結果の一例
ドライバに心的負荷を与えずにより自然に近い脇見を発生さ
及び検出精度の結果を Fig. 9，Table 2 に示す．なお推定結
せるために，スピーカの音を用いて左右どちらの方向にター
果の脇見確率は(1)式により得た P(Xt=ON|Z1:t)である．精度評
ゲットが提示されたかを提示直前に知らせる方法をとった．
価の指標として用いた TP，FN，Total はそれぞれ (6)，(7)，
また，より自然な脇見状態を再現するために，ターゲットを
(8)式とする．なお，1-TP は検出漏れ率，FN は誤検出率を表
目視するタイミング，目視する継続時間は被験者の危険認識
す．本論文で報告する実験ではξ=0.8 とした．
で自由に決められるものとした．そして，ドライバのヨー角
が一定値ψ以上で，且つターゲットが提示されているフレー
ムを脇見をしていると定義した．これを数式により表現する
TP 
(6)
t
と，(5)式となる．
ON , if {( yaw   )and (TARGET  ON )} (5)
Xt  
 OFF, otherwise
Frames{( X t  ON )and ( Xˆ t  ON )}
Frames( Xˆ  ON )
FN 
Frames{( X t  ON )and ( Xˆ t  OFF}
Frames( Xˆ  OFF)
(7)
t
Total 
Frames{ X t  Xˆ t }
AllFrames
(8)
Fig. 9 The upper figure shows an estimation result of proposal method. The middle is a graph of the same driver's head yaw
angle that is converted into discrete quantities. The lower is the ground truth where colored areas are “inattentive driving”
frames. Horizontal axes of all figures represent frame numbers.
Table 2 Results of detection accuracy
Inattentive driving: ON
TP
FN
Total
被験者 A
0.492
0.314
0.909
被験者 B
0.460
0.388
0.896
全平均
0.476
0.351
0.903
Inattentive driving: OFF
次に両者の走行で得られた観測モデルの一部を Fig.10，
Fig. 11 に示す．これらは，連続量で取得した観測量を離散
yaw angle (discrete)
yaw angle (discrete)
化し，ヒストグラム化したものである．これらの観測量は，
Fig. 10 Distributions of two subjects' head yaw angles (left :
離散化されているためか，共通的に脇見を示すような特徴的
subject A, right : subject B)
な観測量は，頭部ヨー角以外に見られなかった．しかし個々
人で見ると，脇見をしている時としていない時で観測量に差
Inattentive driving: ON
Inattentive driving: OFF
が見られた(Fig. 11)．
また，ヨー角のみで脇見を検出した結果と本手法の検出結
果を比較することで本手法の有効性を検証した．比較結果を
Fig. 12 に示す．Fig. 12 は，Fig. 9 の走行データにおける
Ground Truth と脇見検出結果，及びヨー角の閾化処理による
脇見検出結果を比較したものである．なお，2)の学習データ
のラベル付け，及び 3)の閾化処理では，ヨー角を 10[deg]と
設定した．
この比較図を見てもわかるように，ヨー角のみで脇見を検出
acceleration (discrete)
speed (discrete)
Fig. 11 The left figure shows subject A's distributions of
acceleration and the right figure shows subject B's distributions
した結果より，本手法による結果の方が車線変更時の安全確
of speed.
認などで生じる誤検出を軽減し精度よく脇見を検出できるこ
(In Fig. 10 and Fig. 11, lower labels of figures represent their
とが確認できる．
horizontal axes values)
3.4.
上げるためには，ヨー角以外に脇見を特徴づける観測量を見
考察
Fig. 12 の比較結果から，顔向き情報以外に運転操作情報や
つけるなど，観測量の取捨選択が必要である．しかし，本稿
自車情報を用いることで，安全確認などの首振り動作で生じ
で報告した実験では，ヨー角以外に被験者に共通して脇見を
る誤検出を軽減できることが分かった．これはドライバの脇
特徴づける観測量は見られなかった．これは，データの離散
見と運転操作や自車状態との間に相関があり，脇見の兆候が
化方法による情報量減尐のため特徴的な観測量が見つからな
観測として現れたためと考えられる．この脇見の検出精度を
かった可能性と，個人によって運転特性が大きく異なり，集
1)
Ground Truth
2)
Proposal Method
3)
Only use yaw angle
Fig. 12 1) Ground Truth, 2) The estimation result of proposal method, 3) The detection result of using only head yaw angle,
The horizontal axis represents time (which is equal to a frame number), and the colored area is “inattentive driving” frames.
Much differences are seen between 2) and 3) in two squared areas.
団でその特徴性を扱うこと自体が難しいという可能性が考え
(4) 田久保宣晃, 藤岡健彦：“運転中の脇見行動に関する分
られる．前者の改善方法としては，データの離散化手法の検
析”, 自動車技術会論文集，Vol.34，No.2, pp.107-112
討やデータを連続量のまま扱うことの可能なモデルの導入な
（2003）
どが考えられる．また，後者については，今後の方向性とし
(5) N. Kuge, T. Yamamura, and O. Shimoyama：“A Driver
て万人に適用可能な脇見検出モデルを構築する以外に，個人
Behavior Recognition Method Based on a Driver Model
の運転特性に特化した脇見検出モデルを検討することも考え
Framework”, Transactions of Society of Automotive
られる．
Engineers，vol.109，No.6, pp.469-476（2000）
(6) A. Pentland and A. Liu：“Modeling and Prediction of
4.
おわりに
本稿では，首振り動作の他に，ドライバの運転操作やその
時の自車状態などの各種情報を DBN の枠組みで統合すること
Human Behavior”, Neural Computation ， vol.11, pp
229-242 （1999）
(7) N. Oliver and A. Pentland：“Graphical Models for
によりドライバの脇見を検出する手法を提案した．また，統
Driver
Behavior
計学的手法に必要な正確な学習データの取得と明確に定義さ
Proceedings
れた脇見状態の再現という問題に対して，ドライビングシミ
Symposium, pp 7-12（2000）
of
Recognition
the
in
a
SmartCar”,
IEEE Intelligent
Vehicles
ュレータという完全に制御された環境下で実験を行うことに
(8) Z. Zhu and Q. Ji：“Real Time and Non-intrusive Driver
よりこれを解決した．さらに，提案手法の検出結果と頭部ヨ
Fatigue Monitoring”, IEEE International Conference
ー角の閾化処理による脇見の検出結果を比較し本手法の有効
on Intelligent Transportation Systems, pp 657-662
性を確認した．
（2004）
今後は，様々な観測量と脇見の関係性を熟慮し，システム
(9) H. Gu and Q. Ji：“An Automated Face Reader for Fatigue
としてより高精度な結果が得られるようなネットワークトポ
Detection”,
ロジーを検討する予定である．また，ドライバの頭部ヨー角
International Conference on Automatic Face and
Proceedings
of
the
6th
IEEE
以外に脇見を特徴づける観測量の検討も行う予定である．
Gesture Recognition, pp 111-116（2004）
(10) T. Kumagai and M. Akamatsu：“Prediction of Human
参考文献
(1) 警察庁交通局：“平成 18 年度の交通事故の発生状況”，
http://www.npa.go.jp/toukei/
(2) 沓名守通，井東道昌，山本修身，中野倫明，山本新：“イ
Driving Behavior Using Dynamic Bayesian Networks”,
IEICE Transactions on Information and Systems,
Vol.E89-D, NO.2, pp.857-860（2006）
(11) 須田義大，高橋良至，大貫正明：“研究用ユニバーサル
ンパネ位置撮像システムによる顔向き検出と運転支援
ドライビングシミュレータ”，自動車技術，Vol.59，No.7，
システムへの応用の試み”，Technical Report of IEICE
pp.83-88（2005）
PRMU，Vol.106， No.72, pp.59-63（2006）
(12) 岡兼司, 菅野裕介, 佐藤洋一：“頭部変形モデルの自動
(3) 鳥山将司，井東道昌，小塚一宏，中野倫明，山本新：“画
構築を伴う実時間頭部姿勢推定”，情報処理学会論文
像処理によるドライバの視線推定検出と脇見検知への
誌：コンピュータビジョンとイメージメディア, Vol.47
適用”，自動車技術会学術講演会前刷，No.10-05,
No.SIG10(CVIM15), pp.185-194（2006）
pp.13-16（2005）

Download Report