社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE ビジョン・ジャイロ・GPS の実時間データ統合による 車載カメラ Registration 問題の解決 竹馬 真樹† 胡 振程‡ 内村 圭一‡ †‡熊本大学工学部 〒860-8555 熊本県熊本市黒髪 2 丁目 39 番 1 号 E-mail: †[email protected] ‡{hu, uchimura}@cs.kumamoto-u.ac.jp あらまし 本稿では，仮想な道路案内や交通情報を実写映像と融合し，ドライバーに直接な視覚誘導情報を提供 するという次世代カーナビシステムのフレームワークを提案することと共に，このシステムにおける最も重要な基 盤技術である車載カメラの 3 次元位置と姿勢（所謂カメラの Registration 問題）を実時間に推定する新しい方法を提 案する。従来の研究では，３次元構造が既知である環境で行うことを前提条件とするため，高速に移動する走行環 境に対応できない。本研究では，道路形状モデルマッチング法を基づいたハイブリッド車載カメラ Registration 解決 法を提案した。 キーワード カメラ 3 次元姿勢推定，Registration 問題，道路ナビゲーション，Parameterized model matching，拡 張現実感，データ統合 Fusion of Vision, GPS and 3D-Gyro in Solving Camera Global Registration Problem for Vision-based Road Navigation Masaki CHIKUMA† Zhencheng HU‡ and Keiichi UCHIMURA‡ †‡Faculty of Engineering, Kumamoto University 2-39-1 Kurokami, Kumamoto-shi, Kumamoto, 860-8555 Japan E-mail: †[email protected] ‡{hu, uchimura}@cs.kumamoto-u.ac.jp Abstract This paper presents a novel framework of vision-based road navigation system, which superimposes virtual 3D navigation indicators and traffic signs onto the real road scene in an Augmented Reality (AR) space. To properly align objects in the real and virtual world, it is essential to keep tracking camera’s exact 3D position and orientation, which is well known as the Registration Problem. Traditional vision based or inertial sensor based solutions are mostly designed for well-structured environment, which is however unavailable for outdoor uncontrolled road navigation applications. This paper proposed a hybrid camera pose tracking system that combines vision, GPS and 3D inertial gyroscope technologies. The fusion approach is based on our PMM (parameterized model matching) algorithm, in which the road shape model is derived from the digital map referring to GPS' absolute road position, and matches with road features extracted from the real image. Inertial data estimates the initial possible motion, and also serves as relative tolerance to stable the pose output. The algorithms proposed in this paper are validated with the experimental results of real road tests under different conditions and types of road. Keyword Camera 3D pose estimation, Registration problem, On-road navigation, Parameterized model matching, Augmented reality, Data fusion． 1. ま え が き 移動するカメラの 3 次元空間位置および方向を追跡 決 方 法 ， 3)い く つ か の セ ン サ を 組 み 合 わ せ る ハ イ ブ リ ッド解決方法． することが，拡張現実感技術におけるレジストレーシ 慣性センサは動き追跡などに幅広く利用されてい ョン問題にとって不可欠である．実世界と仮想世界の る [1][2]．自 己 校 正 ，情 報 源 な し ，ま た サ ン プ リ ン グ レ 正確な融合を行うためには，観測者であるカメラの姿 ートが高いなどの特徴を持つため，車両や航空機のよ 勢 (位 置 と 方 向 )を 正 し く 計 測 す る 必 要 が あ る ． う な 速 い 動 き の 追 跡 に 適 用 可 能 で あ る ．し か し な が ら ， この問題を解決するために，近年では多くの研究が 慣性センサは偏差率や加速度の測定だけを行っている 行われている．既存の手法は主に 3 種類に分けられ ため，位置と方向を得るためには出力信号の積分を行 る ： 1)慣 性 セ ン サ や ビ ー コ ン ， ト ラ ン ス ポ ン ダ な ど の わなければならない．結果として，ノイズや偏りのた 外 部 デ バ イ ス に よ る 解 決 方 法 ， 2)撮 影 し た 画 像 か ら ， めに累積誤差を生じ，時間が経つと大きなずれが生じ 直接にカメラの姿勢を推定する画像処理技術による解 てしまう． ビジョンに基づいたカメラの 3 次元姿勢推定の一般 部，地図管理部，中央処理部，映像表示部および制御 的な考えは，対象画像でのモデルに最も適合するよう 部という６つの部分から構成されている．カメラから な カ メ ラ の 位 置 と 方 向 デ ー タ (6 つ の 外 部 パ ラ メ ー タ ) 入力した道路映像と，地図管理部から推定した多車線 を 見 つ け る 事 で あ る [3][4][5]． 他 の セ ン サ と 違 っ て ， 道路形状モデルと照合して，カメラの姿勢データを求 ビジョンによる解決法では，カメラ姿勢の計測に用い め，映像表示部で道路交通情報を実映像に投影する． られる画像は，拡張現実感空間での背景画像として使 また，中央処理部で処理結果によって制御部で警報や 用される．それ故，仮想物体が背景に投影される時， 直接操舵などの指令を実行する． 視覚的には最も良い性能を示す．しかし，画像特徴の 図 １ は VICNAS 実 施 例 を 示 す も の で あ る ．実 写 映 像 抽出や追跡結果などの前処理結果に依存しているため， の上に，簡略化した地図，道路制限，走行車線案内そ 多くの計算時間を必要とし，ノイズに敏感でロバスト して重要なランドマークなどのナビゲート情報を仮想 性に欠けている． 実体化することにより，現実情景に融合するように直 異なるセンサは他のセンサの制限を補える可能性 観的にドライバーを誘導する． があるので，最近では多くのハイブリッド法が研究さ れ て い る ．Chai ら は ，慣 性 セ ン サ の 累 積 誤 差 と ビ ジ ョ 3. PPM ア ル ゴ リ ズ ム ンセンサの測定速度が遅い問題を解決するために，ビ 拡張現実感技術とは，コンピュータグラフィックス ジ ョ ン と 慣 性 セ ン サ を 姿 勢 推 定 に 適 用 し て い る [6]． 技術から生成される仮想物体を実映像のオーバーレー 拡 張 カ ル マ ン フ ィ ル タ (EKF)を 用 い て デ ー タ 統 合 と 誤 に描画することによって，交互的に現実空間に融合す 差 補 正 を 行 っ た ． You ら は ， ビ ジ ョ ン と 慣 性 セ ン サ を る技術であり，近年では医学，教育，交通及び産業の 2 チ ャ ン ネ ル の 補 完 的 な EKF を 用 い て 組 み 合 わ せ て い 各分野で活用されている．現実環境における任意の位 る [7]．そ れ は ，ビ ジ ョ ン セ ン サ の 低 い 頻 度 の ス テ イ タ 置に任意の姿勢で仮想物体を描画するために，現実環 スとジャイロセンサの高い頻度の追跡の利点を利用し 境の基準座標系と仮想環境の基準座標系を一致させる ている．しかし，それらの研究の多くは，室内等の整 必 要 が あ る ． VICNAS で は ， 仮 想 物 体 で 表 現 さ れ た ナ った環境に対して設計されている．特にビジョンセン ビゲーション情報を実写映像と違和感なしに融合させ サにとって，所定の人工的なマークが特徴追跡処理に るために，リアルタイムに現実環境と位置あわせを行 不可欠なので，道路ナビゲーションなどの屋外の整備 い ，正 確 に 投 影 位 置 お よ び 角 度 を 把 握 す る 必 要 が あ る ． されていない環境では利用できない． 本論文では，著者らが提案した純粋なビジョンに基 こ の 位 置 合 わ せ 問 題 （ 所 謂 Registration 問 題 ） の 解 決には，従来，ビーコン，ジャイロ，３軸加速度セン づ い た 解 決 法 [5]を ビ ジ ョ ン ・ GPS・ 3 次 元 慣 性 ジ ャ イ サ な ど の 外 部 装 置 が 多 く 利 用 さ れ て い る ．本 研 究 で は ， ロスコープセンサの技術を用いたハイブリッド法に改 視 覚・GPS・ジ ャ イ ロ を 用 い て Registration 問 題 を 解 決 良 す る ． 各 セ ン サ デ ー タ の 統 合 は Parameterized Model す る Parameterized Model Matching(PPM)ア ル ゴ リ ズ ム Matching(PMM)ア ル ゴ リ ズ ム に 基 づ い て い る ． GPS と を提案する．これを図 2 に示す．その内容の概要は次 ジャイロデータから正確な路上位置を求め，デジタル の 通 り で あ る ．GPS と 3 次 元 ジ ャ イ ロ デ ー タ を 統 合 し 地図から道路形状モデルを作成する．実画像から抽出 て，道路位置を得る．デジタル地図から道路形状モデ した道路特徴と道路形状モデルの照合を行う．その結 ル を 作 成 し ，実 画 像 か ら 得 た 特 徴 と マ ッ チ ン グ を 行 う ． 果 を ジ ャ イ ロ デ ー タ と 統 合 し ，出 力 す る ．本 論 文 で は ， ジャイロデータとの統合を行い，姿勢データを得る． 実道路での実験結果によりアルゴリズムの有効性を示 した． 2. 直 接 視 覚 ナ ビ ゲ ー シ ョ ン シ ス テ ム の 概 要 直 接 視 覚 ナ ビ ゲ ー シ ョ ン (VICNAS)の 目 的 と し て は ， 進路案内，自車位置，地図情報などのナビゲーション 情報を，移動体前方の道路の実写映像中または実際の 景観中における適切な位置に投影することによって， ナビゲーション情報と実写映像または実視景観との対 応関係をドライバーに直観的に正確に認識させること である． VICNAS の 実 施 形 態 に 係 る 移 動 体 ナ ビ ゲ ー ト 情 報 表 示装置の概要構成として，装置はセンサ入力部，操作 図 1.VICNAS 実 施 例 の 説 明 図 Digital road map GPS Absolute Road GPS 3D Gyro Positioning Evaluation Module Road Shape Modeling Reset Integration Module Gyro Fusion with Out Matching with real Gyro rotation rate Output Control 図 3.GPS と ジ ャ イ ロ デ ー タ の 統 合 image features Real road imagery 図 2.PMM ア ル ゴ リ ズ ム の 概 要 3.1.道 路 位 置 の 断 定 一 般 に ，DGPS の 精 度 は ，水 平 1．5m，高 さ 5m で あ る ． 都 市 エ リ ア で は ， GPS の 精 度 は 障 害 物 に 影 響 さ れ ， ラ ン ダ ム な 反 射 (所 謂 マ ル チ パ ス ) が 存 在 す る ． こ の 場 合 ， 慣 性 セ ン サ を GPS デ ー タ を 補 う た め に 実 行する．ほとんどの商業的なナビゲーションシステム は，過去の移動跡に最も近いと思われる正確な位置を 知るために，マップマッチングアルゴリズムを用いて 図 4. 車 両 ， カ メ ラ そ し て 画 像 座 標 系 の 位 置 関 係 い る ． GPS の サ ン プ リ ン グ レ ー ト (1Hz〜 10Hz)は ， 通 常 ，慣 性 セ ン サ サ ン プ リ ン グ レ ー ト (10Hz〜 500Hz) よ 3 次 元 車 両 座 標 系 VCS， カ メ ラ 座 標 系 CCS， 慣 性 座 標 り 低 い の で ， 正 確 な 道 路 位 置 の た め の GPS と 3 次 元 系 ICS， 2 次 元 投 影 画 像 座 標 系 PCS． 図 4 に は 3 次 元 ジャイロの統合は，図 3 で示される制御方法に基づい 車 両 座 標 系 VCS ( X v , Yv , Z v ) ，3 次 元 カ メ ラ 座 標 系 CCS て い る ．GPS デ ー タ と ジ ャ イ ロ デ ー タ が そ れ ぞ れ 評 価 ( X c , Yc , Z c )及 び 2 次 元 投 影 画 像 座 標 系 PCS( xi , y i )の 位 モジュールと統合モジュールに与えられる．データ整 置関係を示す． 合 性 を 制 御 し て ，衛 星 数 と DOP 値 が 獲 得 さ れ ，評 価 さ 車 両 座 標 系 の 原 点 は 車 両 後 輪 軸 の 中 点 に 位 置 し ，Z v れ た 信 頼 で き る GPS デ ー タ が 再 び 統 合 モ ジ ュ ー ル に は 車 両 の 中 央 に ， X v と Yv 軸 は そ れ ぞ れ 左 と 上 を 指 向 与えられ，ジャイロの統合モジュールがリセットされ するように，それぞれ設定されているものとする．ま る ． 新 し い GPS 位 置 と ジ ャ イ ロ で 統 合 決 定 さ れ た 位 た，カメラ座標系の原点はカメラレンズの中心に位置 置との相違が最終的な集合要素としてジャイロ統合モ し， Zc 軸はカメラの光軸に重なるように設定されて ジュールにフィードバックされる． い る も の と す る ． ま た ， 2 次 元 投 影 画 像 座 標 系 PCS は こ こ で ， Pg (t i ) = ( X t , Yt , Z t ) が 信 頼 で き る GPS 位 置 i i i デ ー タ を 表 し ，Vi (τ ) = (vxτ , vyτ , vzτ ) が 3 次 元 ジ ャ イ ロ の加速度出力を積分した走行速度データであると仮定 す る ． t i = t 0 , t1 ,..., t n で あ る ．2 つ の 信 頼 で き る GPS デ ー タ Pg (t n ) と Pg (t n +1 ) の 間 の 正 確 な 路 上 位 置 が ，次 式 によって算出される． t P (t ) = Pg (t n ) + ∫ Vi (τ )dτ + ∆Ptn (t − t n ) t n (1) ∆Ptn は 3 次 元 ジ ャ イ ロ 出 力 を 補 正 す る フ ィ ー ド バ ッ ク修正要因である． ∆Ptn = 1 t n − t n −1 tn − + ∆ − P ( t ) V ( τ ) d τ P ( t t ) g n ∫ i tn −1 n n −1 tn −1 (2) 3.2.車 両 ， カ メ ラ お よ び 画 像 座 標 系 の 位 置 関 係 VICNAS に は ，5 つ の 座 標 系 が あ る ．世 界 座 標 系 WCS， Z c = f 平 面 に 位 置 し て い る も の と す る ．但 し , f は カ メラの焦点距離である． カ メ ラ 座 標 系 CCS か ら 画 像 座 標 系 PCS へ の 変 換 関 係は次式で表される正投影である． r r κ p = ΓP (3) r r T T 但 し ，P = [ X c Yc Z c 1] ，p = [ x i y i 1] は そ れ ぞ れ CCS と ICS 座 標 系 の 座 標 で あ る ． Γ は 3x4 の 投 影 マ ト リ ク スで，通常では以下のように分解できる． 1 0 0 0 Γ = K 0 1 0 0 M = K [E | 0]M 0 0 1 0 (4) ここで， K はカメラ内部パラメータマトリクスと呼 ば れ る も の で ， 画 像 の 横 縦 方 向 変 形 率 (S x , S y ) お よ び 画 像 中 心 点 (u 0 , v 0 ) な ら び に 回 転 変 形 率 Sθ を 決 め る も のである． Sx K = 0 0 複雑曲面で構成されている．道路の水平形状は直線， u0 v0 1 Sθ Sy 0 (5) で き る ．式 (9)で は Clothoid 曲 線 で 近 似 し た 道 路 セ グ メ ント水平形状モデルが示される． M はカメラ外部パラメータマトリクスと呼ばれる もので，視点から対象モデル座標系への変換関係を示 しており，一般に剛体の 3 次元並進および回転変換に よ っ て 式 (6)と し て 表 示 で き る ． R11 R M = 21 R 31 0 円弧及び螺旋で構成されて，通常では３次曲線で近似 R12 R 22 R12 R 23 R32 R33 0 0 TX TY R T = TZ 0 1 1 こ こ で ， c 0 と c1 は そ れ ぞ れ 水 平 曲 線 の 初 期 曲 率 と り 車 線 数 ， wi は セ グ メ ン ト 間 の 平 均 道 路 幅 で あ る ．ま (6) た ， Li は セ グ メ ン ト の 長 さ を 示 す ．こ の モ デ ル を 用 い て地図データから任意の路上位置での道路形状モデル を 簡 単 に 構 築 で き る ． 図 5 に c 0i = 4.5 × 10 動パラメータである． カ メ ラ 倍 率 κ は 通 常 1 で 近 似 で き る た め ，式 (3)〜 式 (6)に よ っ て ， 以 下 の 拘 束 式 が 成 立 す る ． −3 m −1 , c1i = −7.2 ×10 −5 m −2 , nli = n ri = 2 , wi = 3.75 m Li = 150 m の 場 合 の 道 路 水 平 形 状 モ デ ル を 示 す ． , 車両の通常走行位置は一般に，道路中央線両側の車 線にあるため，車両の路上位置（車両座標系の原点か ら道路中央へのオフセット）および向き（車両座標系 (7) ここで，カメラ姿勢を代表する回転及び平行移動の 6 つのパラメータを姿勢ベクトル σ で表示すると，画 像 座 標 系 と 車 両 座 標 系 と の 投 影 関 係 は ，式（ 8）に 表 示 できる． r r p = Γ( P; σ ). (9) 曲 率 の 変 化 パ ラ メ ー タ で ， nli は 上 り 車 線 数 ， n ri は 下 但 し ， R11 ~ R33 と T X ,Y , Z は そ れ ぞ れ 回 転 及 び 平 行 移 r r R T r r p = Γ P = K [E | 0] M P = K [E | 0] P 0 1 ℜi = (c0i , c1i , nli , nri , wi , Li )T の Z 軸 方 向 と 道 路 水 平 接 線 と の 偏 移 角 ）の 情 報 を 用 い る こ と で ，道 路 中 心 線 の 道 路 水 平 形 状 モ デ ル ℜ i を ，車 両 座 標 系 VCS ベ ー ス に す る 新 し い モ デ ル ℜ i ' に 変 換 で きる． そして視認距離（実写映像として撮影されることが 想定される領域）内の路面が平坦であると仮定して， 投 影 変 換 式 (8) か ら 下 記 の 道 路 水 平 形 状 モ デ ル の 投 影 (8) す な わ ち ， 2D-3D 空 間 に お け る 一 つ の 対 応 点 対 r r ( pi , Pi )が あ れ ば ，カ メ ラ 姿 勢 デ ー タ に 対 し て 一 つ の 拘 束 式（ 8）が 決 め ら れ る ．理 論 的 に ，こ の よ う な ６ つ の 対応点対があれば，カメラの姿勢を推定するためには 十分である． し か し ，単 純 な 単 眼 の CCD カ メ ラ に よ っ て 撮 影 さ れ る前方景観のモノクロの実写映像データのみから 3 次 元空間の奥行きを正確に推定することは，理論的に極 め て 困 難 で あ る ． 本 研 究 で は ， 2D-3D 空 間 で の 2 次 元 空間対 3 次元空間照合によるマッチングを避けて，道 路地図情報から多車線道路形状モデルを推定し，実写 式が推定される． r p(ℜ i ' ) = Γ(ℜ i ' ; σ ) (10) 上式により 3 次元の道路形状を 2 次元に投影したた め ，カ メ ラ 姿 勢 を 推 定 す る た め の 2D-3D マ ッ チ ン グ を 2D-2D マ ッ チ ン グ に 簡 単 化 で き る ． こ の よ う に ， 本 研 究では，道路地図データから推定される道路形状モデ ルと実写道路情景映像から抽出される道路形状データ と を 2 次 元 の 特 徴 空 間 で 2D-2D マ ッ チ ン グ さ せ て ，最 適 な 姿 勢 ベ ク ト ル σ を 推 定 す る ．図 5 は そ の 2D-2D マ ッチングの際に用いられる投影した道路水平形状モデ ルの一例を示したものである． 映 像 デ ー タ と 2D-2D 特 徴 空 間 で の マ ッ チ ン グ に 変 更 し て，カメラ姿勢データを推定する． 3.3.多 車 線 道 路 形 状 モ デ ル 道路地図データには，一般にノードと呼ぶ道路セグ メントの緯度経度と海抜などの 3 次元位置情報，及び 道路名称，等級，車線数，交差状況などが記録されて いる．道路幅は道路等級に基づいて推定することがで きる．また，一般に地図データに記載されたノード位 置は道路中央線上にある． 道路の構造は一般に，水平曲率と縦断曲率を用いる 図 5． 道 路 水 平 形 状 モ デ ル の 一 例 3.4.道 路 形 状 ル ッ ク ア ッ プ テ ー ブ ル （ Ｒ Ｓ Ｌ ） 実写映像の中で道路形状を代表するものは道路白 線，中央線および舗装路面の境界線などがある．道路 白線の抽出及び追跡については様々な手法が報告され ている．実際の道路環境では，様々な光，反射や天候 また，視覚アプローチの最適化探索の初期状態を与え 状況によって車線の区切りを示す道路白線の明度およ る． び色相が大幅に変化するため，道路モデルは実写映像 と直接にマッチングできない．本研究では，道路形状 4. 実 験 結 果 お よ び 検 討 ル ッ ク ア ッ プ テ ー ブ ル （ RSL） の 概 念 を 提 案 し て ， 道 テ ス ト 用 車 両 の 前 方 に 1/4 イ ン チ CCD カ メ ラ を 固 定 路形状データとして抽出された道路白線の明度値の代 す る ．画 像 入 力 は 標 準 的 な NTSC フ ォ ー マ ッ ト 30FPS りにその存在確率を映像化することによって，高速か を 採 用 す る ．ま た ，GPS 装 置 及 び INS 装 置 は ，そ れ ぞ つロバストな道路形状マッチングを行う． れ Trimble®AgGPS 及 び DataTech®GU-3023 で あ る ．地 RSL の 値 は ， 道 路 白 線 に 近 い ほ ど 高 い ． 具 体 的 な 計 図 デ ー タ は ゼ ン リ ン の Z-Map (熊 本 地 域 )を 用 い る ． 路 算法としては，まず道路白線，区切り線及び道路領域 上テストで利用した道路の種類は図 6 に示されるよう の境界線候補を特徴領域として抽出し，画像を二値化 に，高速道路，県道，一般市街道路に分けられ，走行 す る （ 特 徴 領 域 に 属 す る 画 素 を 1， 他 の 画 素 を 0 に す 車線形態は双方向道路，一方通行道路，１車線から６ る ）． 次 に ， 式 (11)を 用 い て 各 画 素 p ( x, y ) の RSL 値 を 車線までの道路に分けられ，道路形状は直線，カーブ 計算する． そ し て S-カ ー ブ に 分 け ら れ る ． RSL :→ p ( x, y ) = ∑ ∑ (λ x −i , y − j χ i , j ) (11) 車載カメラの姿勢推定テストでは，カメラロール角 但 し ， λ x , y は 二 値 化 し た 画 素 値 で あ り ， χ i , j は RSL を簡単に 0 に校正できるため，ここでの検討は省略す i j 用のカーネル係数である．雑音抑制のため，カーネル る ．ま た ，画 像 平 面 へ の 投 影 に 対 し て ，カ メ ラ 縦 方 向 YV サ イ ズ は 通 常 5 又 は 7 に し て ， 各 係 数 は Gaussin 分 布 の移動とピッチ角の変化は同じ効果を持つため，ここ 式によって決める． カ メ ラ 姿 勢 推 定 の 最 終 評 価 式 を 式 (12)に 示 す ． ではピッチ角だけを検討する． E (σ ) = 1 ησ ∑ RSL :→ p( x, y ) = p∈ησ 1 ησ 図 7 で は 3500 フ レ ー ム の 画 像 を 用 い て ， ビ ジ ョ ン ∑ RSL :→ Γ(ℜ' ; σ) のみと統合した方法での角速度の推定結果を示す．こ (12) ラ 間 の 表 示 を 除 い て い る ． 平 均 2.0 度 の 非 常 に 安 定 し p∈ησ 但 し ， η σ は 道 路 水 平 形 状 モ デ ル ℜ' の 2 次 元 投 影 点 こでの結果は，フレームを参照にしている車両とカメ たヨー率は，車両が右に曲がっている事と一致する． の集合．この式によって，道路地図データを表す道路 これはまた，道路要素が右カーブであるという事実を 形 状 モ デ ル と 実 写 道 路 映 像 を 表 す RSL と を 完 全 に マ 実証している． ッチングする際に最良な評価値を得る． パラメータ 6 個の姿勢ベクトル σ の最適値を求める た め に ，様 々 な ロ ー カ ル 極 値 サ ー チ 方 法 が 使 用 で き る ． 図 8 では，世界座標系における積分したロール，ピ ッチ，ヨー角の結果を示す． カメラ姿勢データの推定精度を検証するために，走 本 研 究 で は Hooke と Jeeves の 直 接 サ ー チ ア ル ゴ リ ズ ム 行方向を示す矢印及び道路速度制限文字を仮想物体化 を 利 用 す る [10]． 求 め た カ メ ラ 姿 勢 デ ー タ に 基 づ い て して，道路映像に投影するテストを行った．図 9 に示 ナビゲート情報を実映像に投影する．また，前回の結 したように，仮想ナビゲート情報物体は正確に投影さ 果はフィードバック量として次回の推定に使用する． れ，違和感なく実写映像の情景と融合できた．本研究 で提案したカメラ姿勢の推定法が有効であることを実 3.5.ビ ジ ョ ン と ジ ャ イ ロ デ ー タ の 統 合 証できた． 3.2.節 で 述 べ た よ う に ， 慣 性 セ ン サ は 車 両 に 固 定 さ れ る の で ， ICS か ら VCS と CCS へ の 変 換 は 前 も っ て キャリブレーションされ，一定である． ビ ジ ョ ン と ジ ャ イ ロ デ ー タ の 統 合 は ，CCS の 方 向 を ICS に 関 し て 変 え る こ と が 必 要 な た め ， 方 向 の 動 き の ( ) ３ DOP だ け を 考 慮 す れ ば よ い ． Ω θ , φ ,ψ を 回 転 角 (オ イ ラ ー 角 )，W (ω x ,ω y ,ω z )を 慣 性 セ ン サ 出 力 か ら の 角 速 度 と し ， ジ ャ イ ロ の 出 力 デ ー タ を WCS 系 に 変 換 す る 式を以下のように表わす． θ& cos φ & φ = tan θ sin φ ψ& − sin φ / cos θ 0 sin φ ω x 1 − tan θ cos φ ω y 0 cos φ / cos θ ω z 図 6.テ ス ト 道 路 (13) 式 (13)は 画 像 特 徴 の 動 き を 予 測 す る の に 用 い ら れ る ． Vision only Vision+gyro 図 7.ビ ジ ョ ン と ジ ャ イ ロ に よ る ヨ ー 角 の 結 果 Yaw angle Pitch angle Row angle 図 8.提 案 し た ハ イ ブ リ ッ ド 法 に よ る 積 分 結 果 図 9.拡 張 現 実 感 の テ ス ト 5. む す び 本論文では，道路上のナビゲーションアプリケーシ ョンに対するレジストレーション問題に対して，ビジ ョ ン ・ GPS・ ジ ャ イ ロ を 用 い た 解 決 法 を 提 案 し た ． すなわち，車両現在位置を含んだ道路地図データに 基づいて，現在位置から撮影されることが想定される 道 路 に 関 す る 道 路 形 状 モ デ ル を 生 成 し た ．そ れ と 共 に ， 実写画像から前方または進行方向の景観中に含まれる 道路形状データを抽出し，それら道路形状モデルのデ ータと道路形状データを照合して，被写体である景観 中の道路に対する車載カメラまたは移動体の姿勢デー タを推定した．更に，3 次元ジャイロデータを用いる ことで，より正確な姿勢データの推定を可能とした． その姿勢データに基づいて，移動体の現在位置に対応 して読み出されたナビゲート情報を適切な位置と角度 で投影し，実写映像と融合する方法を提案した． 今後の課題としては，これまでのデータ統合の精度 向上を行い，リアルタイムに違和感なく仮想物体の描 画技術に関する研究などが挙げられる． 文献 [1] R.T. Azuma. “A survey of augmented reality,” In Presence: Teleoperators and Virtual Environments 6, 4, pp.355-385(1997) [2] E. Foxlin, M.Harrington, and G. Pfeifer, “Constellation: A Wide-Range Wireless Montion-Tracking System for Augmented Reality and Virtual Set Applications”, Proc. Of GRAPHICS 98 (1998) [3] B. Horn and E. Weldon. “Direct Mothods for recovering motion,” Intl. Journal of Computer Vision, Vol.2, pp. 51-76 (1988) [4] R.M. Haralick, H. Joo, R. C. Lee, X. Zhuang, V. G. Vaidya, and M. B. Kim. “Pose Estimation from Corresponding Point Data,” IEEE Transactions on Systems, Man and Cybernetics, 19(6), pp.1426-1446, November-December (1989) [5] Z. Hu and K. Uchimura. “Dynamical Road Modeling and Matching for Direct Visual Navigation”, IEEE workshop on Applications of Computer Vision, pp.237-241 (2002). [6] L. Chai, K. Nguyen, B. Hoff, and T. Vincent, “An Adaptive Estimator for Registration in Augmented Reality”, Prof. of IEEE Intl. Workshop on Augmented Reality, pp. 23-32 (1999) [7] S. You and U. Neumann. “Fusion of vision and gyro tracking for robust augmented reality registration”, Proc. of IEEE Conference on Virtual Reality, pages 71-78 (2001) [8] A. Valinetti, A. Fusiello, V. Murino. ”Model tracking for video-based virtual reality,” Proc. 11th Intl. Conf. On Image Analysis and Processing, pp.372 –377 (2001) [9] R. Gregor, M. Lutzeler, M. Pellkofer, K.-H. Siedersberger, and E. D. Dickmanns. “EMS-Vision: A Perceptual System for Autonomous Vehicles,” IEEE Trans. on Intelligent Transportation Systems. 3(1), pp. 48-59 (2002). [10] R. Hooke and T. Jeeves. “Direct search solution of numerical and statistical problems,” Journal of the Association for Computing Machinery (ACM), pp.212-229 (1961). [11] A. Kelly, “Essential Kinematics for Autonomous Vehicles”, Technical Report of Carnegie Mellon University, CMU-RI-TR-94-14 (1994)
© Copyright 2024 Paperzz
