●特集「センサの最先端」運転者の居眠り状態評価の画像センサ株式会社デンソー情報通信技術 4 部大見拓寛 Takuhiro OMI 1. そこで重要になるのがドライバ監視システムである。車はじめに両がドライバ状態を理解することで，脇見を検知して適切交通事故による死傷者数は，減少傾向にあるものの， 2012 年では約 4,400 人が亡くなり，約 83 万人が負傷するなに警報したり，表情から内面状態を推定し適切な情報提供や車両制御を行うなど，交通事故の未然防止に役立てるこど，人的損失のみならず年間 3 兆円を超える経済的損失もとが可能となる。さらに，心イベントや脳卒中など，意識含め，依然として深刻な状況にある 1) 。交通事故死傷者数喪失状態がわかれば，PCS（衝突被害軽減ブレーキ）や LKA の低減に向けて，国土交通省では 1991 年から ASV（先進安（車線維持アシスト）などの応用で車両を安全に停止させ全自動車）の開発を推進している。ASV 技術の裾野は広く，たり，SOS 自動通報で医工連携による救命救急活動の迅速ラスムッセンの SRK（skill, rule, knowledge）モデルでいう化を図るなど，シームレスな車両安全を実現することがで knowledge ベースの運転支援にも及ぶため，自動運転を目きる。指す技術と捉えられることもあるが，その基本理念には，ドライバ支援の原則，ドライバ受容性の確保，社会受容性の確保，が掲げられており，主体的に責任を持って運転するのはドライバであると明確に定義されている。 2. 眠気状態センシングの手法ドライバの眠気検出方法は，車両情報や操作情報を用いる方法と，ドライバの生体情報を用いる方法に大別される。一方，最近の交通事故の特徴として，居眠りなどの漫然いずれも真の眠気を直接計測しているわけではなく，眠気運転，脇見運転など，ドライバのヒューマンエラーに起因と相関がある物理量を計測し，眠気を推測している。前者するものが増加しており，年間 2,000 件近く（全死亡事故のの方法では，ステアリングの操舵パターンなどから推定す 43％）発生している。この傾向は日本に限らず，米国ではる方法 4) がよく知られ，カメラやレーザレーダなどを組み 2) が，ドイツ合わせ，蛇行率・操舵量・操舵の単調度から覚醒状態を推大型トラック事故の 41％，乗用車事故の 46％では全死亡事故の 25％以上が居眠り・不注意に起因する定するセンサが開発されている 5) 。死亡事故との報告がある。安全支援装置の普及とインフラ生体指標を計測するものとしては，循環系では心電図の整備によって「車」「道」に起因する事故が減少し，相対（ECG）による心拍や，血圧・脈圧，呼吸系では換気量，中的に「人」に起因する事故が増加していると理解できる。枢神経系では脳電図（EEG）による脳波，視覚系では眼電図リスク・ホメオタシス説 3) によると，自動車が安全になれ（EOG）による眼球運動や瞬目，基礎代謝系では皮膚電気活ば，その分，ドライバは危険な運転をする可能性があると動（EDA）や体温，発汗，内分泌系ではコルチゾールといっもいわれており，折角の運転支援システムが効果を発揮でた具合に，様々な手法が研究されている 6) 。中でも，瞬目きない可能性もある。を検出する方法 7) は覚醒度低下をよく反映することが知られ，有望視されている。 ■著者連絡先株式会社デンソー情報通信技術 4 部（〒 448-8661 愛知県刈谷市昭和町 1-1） E-mail. [email protected] 瞬目を正確に計測する方法としては EOG があるが，電極を眼瞼部に貼る必要があり，ドライバへの煩わしさから現実的ではない。そこで，カメラによりドライバの顔画像人工臓器 42 巻 1 号 2013 年 99 表 1 動的眠気指標の種類と特徴（代表例）眠気指標特徴課題主観本人申告顔表情評定押しボタンなどによる申告第三者による動画像の主観判定自覚のない浅い眠気の感度が低い評価者の訓練（熟練）が必要生体情報脳波計測心拍数・心拍変動血圧呼吸皮膚電気活動皮膚温眼球運動閉眼時間瞳孔径変化 α波，θ波の含有率が変化 LF/HF による交感・副交感神経優位眠気対抗で血圧上昇一過性深呼吸など眠気時不規則性精神性発汗部位に一過性反応血管収縮により皮膚温変化低周波成分含有率が眠気と相関一定時間における閉眼時間割合覚醒度時に瞳孔面積が縮小（縮瞳）ノイズやアーティファクトの影響心理要因，情報処理負荷で変動実環境での連続計測ヒヤリハットなどで個人差大覚醒度向上時のみ変化時定数が長いノイズやアーティファクトの影響浅い眠気時の感度が低い外乱光の影響大パフォーマンス運転操作の横ズレ量選択反応時間覚醒度低下により運転成績悪化ランダム課題による反応時間浅い眠気時の感度が低い浅い眠気時の感度が低い図 1 ドライバモニタ装置 ECU：電子制御ユニット，LED：発光ダイオード，PCS：プリクラッシュセーフティシステム。を撮像し，画像処理により眠気と相関がある物理量を検出も多用されているのは，ドライバの顔表情画像を第三者がするドライバモニタが開発されている。この方法は，非接観察して眠気レベルを推定する「顔表情評定」である。「顔触・非拘束であるため，ドライバに負荷を与えない利点が表情評定」は，実験参加者に実験途中での覚醒を促すことあるが，個人差や着用物，時々刻々と変化する光環境や姿がないメリットがあり，特に北島らの評定手法 10) は，主観勢変化の影響により安定的に認識処理することが難しい。評価との高い相関も確認されており，我々もこの手法を用我々は，実車環境の課題を解決するため，撮像方法と認識アルゴリズムの両面から検討を行い，安定してドライバの状態を検出できる技術を開発した 8) 。本稿では，開発しいている。 3. ドライバモニタリングシステムの開発たドライバモニタ装置の概要と，眠気状態の推定結果を紹 1）ドライバモニタ装置介する。開発したドライバモニタ装置は，撮像部，画像処理部，なお，便宜上，「眠気（覚醒）」という言葉を使用するが，ドライバ状態検出部の 3 つの機能ブロックで構成され，眠気の外的基準となるゴールデンスタンダードは存在しなメータ近傍に設置される（図 1）。撮像部により撮像されたい。よく用いられる眠気の外的基準 9) を表 1 に示すが，最顔画像は画像処理部にてドライバの瞼を認識し，その開眼 100 人工臓器 42 巻 1 号 2013 年図 3 光学フィルタによる不要波長光除去図 2 顔画像処理による眠気状態推定図 4 撮像と同期したパルス照明と効果度情報をもとにドライバ状態検出部で眠気状態を推定すある。様々な角度・強度で顔に太陽光などの外乱光があたる。眠気推定結果が閾値レベルを超えた場合には，注意喚るため，同じドライバであっても顔部品の見え方が異なり，起や警報などをドライバに伝達する。未検出や誤検出が生じやすい。また，ドライバの顔は多様撮像部はカメラと投光器で構成している。カメラは CMOS（相補型金属酸化膜半導体）イメージャを用い，画素であり，運転中の姿勢も変化するため，画像認識アルゴリズムには高いロバスト性が求められる。数 640 × 480，フレームレート 30 fps，光学系はドライバ体以下に我々が考案した対策事例を紹介する。格や姿勢変化を考慮して水平画角約 45 度とした。撮像時 1）光学フィルタによる不要波長光の除去は LED（発光ダイオード）により近赤外光（波長 860 nm）をカメラ内部にバンドパスフィルタを内蔵し，近赤外照明照射し，夜間など低照度時の撮像感度を補うとともに，昼光の波長成分以外の不要光をカットすることで，日中にお間における外乱光の影響を低減している。近赤外光を用いける画像の S/N（信号雑音）比を向上させている。また，近るのは，夜間でもドライバに煩わしくないように配慮した赤外 LED から照射される赤色波長成分を除去するために，ためである。前面に可視光カットフィルタを設置している（図 3）。 2）画像認識アルゴリズム 2）撮像タイミングに同期した近赤外照明のパルス発光図 2 に画像認識アルゴリズムの処理フローを示す。まず，グローバルシャッタ方式の CMOS イメージャを採用し，取得画像から顔の領域を特定し，眼，鼻などの顔部品を検その露光タイミングに同期して近赤外照明を点灯させるこ出する。次に，これら顔領域と各部品位置の幾何関係からとで，瞬間的に強く発光させ，S/N 比を向上させている。顔の向きや位置といった頭部の姿勢情報を推定する。そのその結果，眼鏡レンズへの風景の写りこみを低減し認識性後，瞼形状の変化を開眼度として算出することで，閉眼の能を高めることができている（図 4）。検知を行う。最後に，この開眼度の経時的な変化から眠気 3）画像処理結果をフィードバックした撮像制御を推定する。顔の特定部位を追跡し，その部位の現フレームの明るさ 4. 実車環境の課題と課題克服への取り組み実車環境で安定した画像認識性能を得るには，①光環境変化，②ドライバの個人差，③姿勢変化への対応が必要でから次フレームの目標値を算出し，顔面の明るさが常に一定範囲に収まるように制御値（カメラのシャッター時間やゲイン）を調整することで顔認識に適した画像を得ることができている（図 5）。人工臓器 42 巻 1 号 2013 年 101 図 5 認識対象部位に最適なフィードバックカメラ制御図 6 脳と瞬目（眼活動）の関係合）〕＋ f5（瞬目回数）＋ . . . ＋ fN（その他）とした。眠気の推定技術 5. ここで Dp は，1. 全く眠くなさそう∼ 6. 眠っている，の 6 1）眠気時の瞬目特徴抽出段階スケールに合うように設定した。f は寄与率を考慮し Magoun らは，脳幹の刺激により脳波に覚醒反応が起き，た係数で，顔表情評定と最も相関が高くなるよう回帰分析脳幹の破壊によって昏睡を起こすことから，脳幹には大脳により求めた。皮質を賦活する機能が存在することを明らかにした。覚醒 3）眠気推定手法の評価実験と睡眠の調節は視床を介して脳幹網様体が深く関わってい実験は，ドライバモニタリング装置を搭載した実車両をるとされ，結果として眼輪筋（顔面神経）や眼験挙筋（動眼高速道路で実験参加者に運転走行させて実施した。実験参神経）の作用が瞬目挙動に現れる（図 6）。開眼は眼瞼挙筋，加者は自発的参加意思のある健常な 40 代男性である。閉眼は眼輪筋の作用による。瞬目には，随意性瞬目や反射眠気推定関数によりリアルタイムに求めた推定結果と顔性瞬目のほか，自発性瞬目など働きの異なるものが存在す表情評定により 6 段階にレベル分けした結果を併記して図る。我々は，従来知られている特徴 11) 以外に高速度カメラ 8 に示す。図 8 より，浅い眠気から深い眠気にわたって眠を用いて眠気と相関の高い瞬目挙動を抽出し，被験者実験気推定値が顔表情評定を感度よく追従していることがわかにより，それぞれのファクターの寄与率を定量化した 12) る。両者の相関係数は 0.91 と高い値を示した。（図 7）。 6. 2）瞬目特徴量を用いた眠気推定おわりにシミュレータ実験のデータを用いて重回帰分析を行うこ 2012 年に北海道運輸局，北海道中央バスと共同で，「バとで，眠気レベル Dp を算出する眠気推定関数を導出した。ス乗務員異常時検知システム」の実証実験を公道で実施し眠気レベル Dp ＝ f1（開眼時の開眼度）＋ f2（平均瞬目時間）＋ f3（継続閉眼時間の分布）＋ f4〔PERCLOS（閉眼割 102 た。学識経験者からは「実用条件下で実用性が実証された」との見解が示され，一定の評価をいただいた。まだ克服す人工臓器 42 巻 1 号 2013 年図 7 眠気と相関のある瞬目特徴因子図 8 瞬目特徴を用いた眠気推定結果と顔表情評定べき課題は多いが，実用化に向けて着実に前進していることを実感した。ヒューマンファクターを扱うセンシングは難しいが，ドライバの「生理」・「行動」・「心理」状態を物理量として知ることができれば交通事故低減に貢献できる様々な情報が得られる可能性があり，カメラ以外のセンシング手段も含めマルチモーダルにアプローチしていきたい。本稿の著者には規定された COI はない。文　献 1) 警察庁交通局：平成 24 年中の交通事故の発生状況． Available from: http://www.e-stat.go.jp/SG1/estat/List. do?lid=000001108012 2) United States Department of Transportation: Distraction/ Inattention in Large Truck and Passenger Vehicle Studies, Federal Motor Carrier Safety Administration. 2009 3) 芳賀繁：リスク・ホメオスタシス説 ─論争史の解説と展望─．交通心理学研究 9: 1-10, 1993 4) 世古恭俊，片岡幸郎，妹尾哲夫：覚醒度低下時の運転操作解析．自動車技術会学術講演会前刷集．No.841, 69-74， 1984 5) 山本恵一：運転注意力モニタのヒューマンインターフェース．自動車技術 56: 74-8, 2002 6) 望月正人，杉浦康司：ヒューマンインタフェース実車走行評価に応用可能な生理計測・評価技術．自動車技術 56: 33-8, 2002 7) 中野倫明，杉山和彦，水野守倫，他：居眠り検知のための瞬目検出と覚醒度推定．電子情報通信学会技術研究報告 95: 73-80, 1995 8) 志村敦，渡邉泰斗：車載環境に対応したカメラを用いたドライバモニタ技術の開発．自動車技術会学術講演会前刷集，No.35-12, 15-8, 2012 9) 大見拓寛：居眠り運転防止のためのセンシング技術．眠りの科学とその応用Ⅱ，本多和樹監修，シーエムシー出版，東京，2011, 107-21， 10) 北島洋樹，沼田仲穂，山本恵一，他：自動車運転時の眠気の予測手法について（第 1 報，眠気表情の評定法と眠気変動の予測に有効な指標について）．日本機械学会論文集（C 編）63: 3059-66, 1997 11) Torch W, Cardillo C: Oculometric Measures as an Index of Driver Distraction, Inattention, Drowsiness and Sleep Onset. Driver Distraction and Inattention Conference, 2009 12) Nagai F, Omi T, Komura T: Driver Sleepiness Detection by Video Image Processing. F2008-08-037, 2008 32ND. FISITA World Automotive Congresses（CD-ROM 版）, 2008 人工臓器 42 巻 1 号 2013 年 103