コンピュータには 世界がどのように見えているか ピクセル分解能の壁を越える 画像マッチング技術 東北大学 大学院情報科学研究科 青木 孝文 GSIS, Tohoku University 東北大学100周年記念セミナー 1 コンピュータビジョン コンピュータで実現される視覚のこと （カメラが眼でコンピュータが脳） 人間の視覚と同等の機能をコン ピュータに持たせ，画像によって外界 を計測・認識・理解させることが目的 視覚は，人間にとって最も重要な情 報チャネル（人間の大脳の大きな部 分を視覚野が占める） GSIS, Tohoku University 東北大学100周年記念セミナー 2 画像マッチングとは？ コンピュータビジョンの基本処理 ２つの画像の間の「対応づけ」を計算 • 対応するピクセル（画素）を見つける． • 画像がどれだけ似ているかを調べる． GSIS, Tohoku University 東北大学100周年記念セミナー 3 両眼立体視における対応づけの問題 （ステレオビジョン） 左カメラ画像 右カメラ画像 きわめて精密な画像マッチングが必要 人間には簡単なこと（無意識で計算している こと）がコンピュータには難しい GSIS, Tohoku University 東北大学100周年記念セミナー 4 サブピクセル画像マッチング わずかに位置ずれした２枚の画像が与えら れたとき，この位置ずれの量をサブピクセル （例えば，0.01ピクセルなど）の分解能で求 めることができるか？ ピクセル （画素） GSIS, Tohoku University 東北大学100周年記念セミナー 5 位相限定相関法 対応づけ精度を追及した画像マッチング技術 画像を「波」に分解し，波の位置（位相）の情報 を用いてサブピクセル分解能を実現 平行移動量の高精度検出 誤差 < 1/100ピクセル （100x100画像のとき） 回転角度の高精度検出 誤差~ 1/100度 （250x250画像のとき） 拡大・縮小率の高精度検出 誤差~ 1/10000 = 0.01% （250x250画像のとき） きわめて広範囲の応用に適用可能 画像を選ばない（「画像エンジニアの駆け込み寺」） GSIS, Tohoku University 東北大学100周年記念セミナー 6 位相限定相関法の応用展開 2005.7.1現在 ヒューマンインターフェース オブジェクトベース映像処理 ロボットビジョン リモートセンシング 表情・ジェスチャー認識 画像圧縮符号化 車載用３次元ビジョン 生体・医用画像センシング モーションキャプチャ 映像補正・復元 運転者支援システム 電子顕微鏡スケール推定 ３次元カメラ 映像フォーマット変換 電子顕微鏡オートフォーカス 監視カメラシステム レンジファインダ 超解像イメージング 電子顕微鏡ドリフト補正 パノラマ合成・スプライト生成 カメラ校正 ドキュメントスキャナ パラメータ推定 レーザースペックル計測 材料試験装置 印鑑照合 液晶基板張り合わせ マルチモーダル バイオメトリクス 部品位置決め装置 インテリジェント マルチメディアと 歯科レントゲン ラベリングマシン 照合 コンピュータビジョン センシングシステム テーピング装置 ２次元顔照合 チップマウンタ バイオメトリクス ３次元顔照合 工業用画像認識 とセキュリティ マーキング装置 静脈照合 指紋照合 製本検査装置 手形照合 掌紋照合 虹彩照合 ピクセル分解能の壁を越える画像マッチング技術 青字は実用化技術，赤字は研究開発項目 GSIS, Tohoku University 東北大学100周年記念セミナー 7 バイオメトリクス認証 虹彩，網膜 顔 （２次元・３次元） 声紋 筆跡 生物学的な特徴（身体的特徴 または行動的特徴）に基づい て本人確認を行う認証方式 指紋 セキュリティ技術であるととも に，人にやさしいコンピュータ を作るための技術でもある 静脈，掌形 GSIS, Tohoku University 東北大学100周年記念セミナー 8 ４眼ステレオビジョンシステム 左カメラヘッド 右カメラヘッド m m 0 33 GSIS, Tohoku University 東北大学100周年記念セミナー 9 人間の顔の３次元計測（受動型） 左カメラヘッド 右カメラヘッド GSIS, Tohoku University 東北大学100周年記念セミナー 10 顔の３次元形状による個人認証 ・ 被験者： 20 人 ・ 1 人につき 5 回撮影 ・ データ数： 100 ( 20 人 × 5 ) ・ 3 次元点数： 4000∼5000点 6 本人の組み合わせ 他人の組み合わせ 頻度 [%] 5 4 3 2 1 0 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 3 3.2 3.4 3.6 3.8 4 4.2 ３次元点群間の距離 [mm] GSIS, Tohoku University 東北大学100周年記念セミナー 11 リアルタイム３次元計測へ向けて GSIS, Tohoku University 東北大学100周年記念セミナー 12 平常時の顔との差を可視化 表情インターフェースへ向けて 青：差が小さい，赤：差が大きい GSIS, Tohoku University 東北大学100周年記念セミナー 13 位相限定相関法に基づく指紋照合 指紋の特徴点に基づくこれまでの照合方式と比較 して，指紋のかすれや劣化にきわめて強い方式 手荒れのひどい方や乾燥肌の方も利用可能 GSIS, Tohoku University 東北大学100周年記念セミナー 14 位相限定相関法に基づく虹彩照合 世界最高水準の認証性能（ICIP2005発表予定） 虹彩のパターン きわめて認識精度が高い 非接触での認識が可能 偽造が困難 虹彩パターンは生涯ほと んど変化しない GSIS, Tohoku University 東北大学100周年記念セミナー 15 位相限定相関法の応用展開 2005.7.1現在 ヒューマンインターフェース オブジェクトベース映像処理 ロボットビジョン リモートセンシング 表情・ジェスチャー認識 画像圧縮符号化 車載用３次元ビジョン 生体・医用画像センシング モーションキャプチャ 映像補正・復元 運転者支援システム 電子顕微鏡スケール推定 ３次元カメラ 映像フォーマット変換 電子顕微鏡オートフォーカス 監視カメラシステム レンジファインダ 超解像イメージング 電子顕微鏡ドリフト補正 パノラマ合成・スプライト生成 カメラ校正 ドキュメントスキャナ パラメータ推定 レーザースペックル計測 材料試験装置 印鑑照合 液晶基板張り合わせ マルチモーダル バイオメトリクス 部品位置決め装置 インテリジェント マルチメディアと 歯科レントゲン ラベリングマシン 照合 コンピュータビジョン センシングシステム テーピング装置 ２次元顔照合 チップマウンタ バイオメトリクス ３次元顔照合 工業用画像認識 とセキュリティ マーキング装置 静脈照合 指紋照合 製本検査装置 手形照合 掌紋照合 虹彩照合 ピクセル分解能の壁を越える画像マッチング技術 青字は実用化技術，赤字は研究開発項目 GSIS, Tohoku University 東北大学100周年記念セミナー 16 工業市場向け超高速画像認識装置 GSIS, Tohoku University 東北大学100周年記念セミナー 17 超高速部品認識デモンストレーション GSIS, Tohoku University 東北大学100周年記念セミナー 18 “Cinderella IV” System LSI Crossbar Switches WORK RAM x2 PLL Image Devices Monitor Local Memory Video Capture Unit Video Display Unit Memory I/F CPU (SH3/4) CPU I/F & PERIPHERALS DUAL FFT Evaluation CPU I/F Size: 9.2mm x 9.2mm Work Memory Array 2 2D Datapath Image Synthesizer Spatial Filter CCU Remapping LUT 1D Datapath Bit Calculation Cross Bar Switch Cross Bar Switch 1bit Image Processor Dual FFT Dual FFT Pre-Processing Controller Polar Coordinate Transformation Phase to Complex 0.25um CMOS Embedded Gate Array with On-Chip PLL, ROM and RAM 1,550,000 Basic Cells (4 transistors) GCC Graphics Accelera tor Shift Memory I/F Data Evalua tion Affine Transformation Logical Calculation Memory I/F Transfer Copy/ Fill Multiplier Video Capture Sub Functions Graphics Accelerator Add/Sub Complex to phase PostProcessing Pre-Processing Video Output Binary Functions Post-Processing Controller MISC. LOGIC Work Memory Array 1 Frequency: 100MHz (Worst case) GSIS, Tohoku University 東北大学100周年記念セミナー 19 位相限定相関法の応用展開 2005.7.1現在 ヒューマンインターフェース オブジェクトベース映像処理 ロボットビジョン リモートセンシング 表情・ジェスチャー認識 画像圧縮符号化 車載用３次元ビジョン 生体・医用画像センシング モーションキャプチャ 映像補正・復元 運転者支援システム 電子顕微鏡スケール推定 ３次元カメラ 映像フォーマット変換 電子顕微鏡オートフォーカス 監視カメラシステム レンジファインダ 超解像イメージング 電子顕微鏡ドリフト補正 パノラマ合成・スプライト生成 カメラ校正 ドキュメントスキャナ パラメータ推定 レーザースペックル計測 材料試験装置 印鑑照合 液晶基板張り合わせ マルチモーダル バイオメトリクス 部品位置決め装置 インテリジェント マルチメディアと 歯科レントゲン ラベリングマシン 照合 コンピュータビジョン センシングシステム テーピング装置 ２次元顔照合 チップマウンタ バイオメトリクス ３次元顔照合 工業用画像認識 とセキュリティ マーキング装置 静脈照合 指紋照合 製本検査装置 手形照合 掌紋照合 虹彩照合 ピクセル分解能の壁を越える画像マッチング技術 青字は実用化技術，赤字は研究開発項目 GSIS, Tohoku University 東北大学100周年記念セミナー 20 Transmission Electron Microscope (TEM) The autofocus system used in this TEM operates in less than a second using image matching based on POC. H-7600 Hitachi High-Technologies Corporation GSIS, Tohoku University 東北大学100周年記念セミナー 21 電子顕微鏡画像の高精度倍率推定 全体（50段階）で1333倍に拡大 全体の倍率推定誤差 ~1% GSIS, Tohoku University 東北大学100周年記念セミナー 22 位相限定相関法の応用展開 2005.7.1現在 ヒューマンインターフェース オブジェクトベース映像処理 ロボットビジョン リモートセンシング 表情・ジェスチャー認識 画像圧縮符号化 車載用３次元ビジョン 生体・医用画像センシング モーションキャプチャ 映像補正・復元 運転者支援システム 電子顕微鏡スケール推定 ３次元カメラ 映像フォーマット変換 電子顕微鏡オートフォーカス 監視カメラシステム レンジファインダ 超解像イメージング 電子顕微鏡ドリフト補正 パノラマ合成・スプライト生成 カメラ校正 ドキュメントスキャナ パラメータ推定 レーザースペックル計測 材料試験装置 印鑑照合 液晶基板張り合わせ マルチモーダル バイオメトリクス 部品位置決め装置 インテリジェント マルチメディアと 歯科レントゲン ラベリングマシン 照合 コンピュータビジョン センシングシステム テーピング装置 ２次元顔照合 チップマウンタ バイオメトリクス ３次元顔照合 工業用画像認識 とセキュリティ マーキング装置 静脈照合 指紋照合 製本検査装置 手形照合 掌紋照合 虹彩照合 ピクセル分解能の壁を越える画像マッチング技術 青字は実用化技術，赤字は研究開発項目 GSIS, Tohoku University 東北大学100周年記念セミナー 23 動画像における対応づけの問題 （動き推定） 現在のフレーム 次のフレーム きわめて精密な画像マッチングが必要 人間には簡単なこと（無意識で計算している こと）がコンピュータには難しい GSIS, Tohoku University 東北大学100周年記念セミナー 24 テスト画像 Stefan GSIS, Tohoku University 東北大学100周年記念セミナー 25 背景スプライト（静止画）の生成 Background Sprite Generation GSIS, Tohoku University 東北大学100周年記念セミナー 26 背景のみの合成映像 Synthesized Background-Only Sequence 原画像 GSIS, Tohoku University 合成画像 東北大学100周年記念セミナー 27 オブジェクトのみの合成映像 Synthesized Object-Only Sequence 原画像 GSIS, Tohoku University 合成画像 東北大学100周年記念セミナー 28 広角映像の合成 Synthesized Wide-Angle Sequence GSIS, Tohoku University 東北大学100周年記念セミナー 29 合成されたプレイヤーの連写映像 Synthesized Continuous Shots of the Player GSIS, Tohoku University 東北大学100周年記念セミナー 30 心・ことば・脳・電子情報 脳の延長としてのコンピュータ技術（知能情 報技術）の本格的な産業応用はこれから． 人間が無意識に実行している行為そのも のに深遠な「知」のしくみが隠れている． 知能情報技術の応用分野では，ビジネス の現場と先端研究の距離が近く，技術革新 が急速でかつ分野横断的に波及する． 「現場主義」の学風 ー 地に足の着いた 知能情報技術の確立をめざす． GSIS, Tohoku University 東北大学100周年記念セミナー 31 ここで終了 GSIS, Tohoku University 東北大学100周年記念セミナー 32 GSIS, Tohoku University 東北大学100周年記念セミナー 33 なぜサブピクセル画像マッチングか？ 基線長46mm 基線長を短くすると， • 画像中のいたるところで，対応づけを 自動的に計算できる． • しかし，３次元空間での計測精度が 著しく劣化するので実用的ではない． 奥行き方向 の誤差範囲 対応付け の誤差 画像 視点 o o’ 長い基線長 GSIS, Tohoku University 視点 o o’ 短い基線長 東北大学100周年記念セミナー 34 各種の応用展開 液晶基板の 位置合わせ 製本検査装置 （Trident） 電極板 偏光フィルタ カラーフィルタ GSIS, Tohoku University 東北大学100周年記念セミナー 35 位相限定相関法の応用展開 2005.7.1現在 ヒューマンインターフェース オブジェクトベース映像処理 ロボットビジョン リモートセンシング 表情・ジェスチャー認識 画像圧縮符号化 車載用３次元ビジョン 生体・医用画像センシング モーションキャプチャ 映像補正・復元 運転者支援システム 電子顕微鏡スケール推定 ３次元カメラ 映像フォーマット変換 電子顕微鏡オートフォーカス 監視カメラシステム レンジファインダ 超解像イメージング 電子顕微鏡ドリフト補正 パノラマ合成・スプライト生成 カメラ校正 ドキュメントスキャナ パラメータ推定 レーザースペックル計測 材料試験装置 印鑑照合 液晶基板張り合わせ マルチモーダル バイオメトリクス 部品位置決め装置 インテリジェント マルチメディアと 歯科レントゲン ラベリングマシン 照合 コンピュータビジョン センシングシステム テーピング装置 ２次元顔照合 チップマウンタ バイオメトリクス ３次元顔照合 工業用画像認識 とセキュリティ マーキング装置 静脈照合 指紋照合 製本検査装置 手形照合 掌紋照合 虹彩照合 ピクセル分解能の壁を越える画像マッチング技術 青字は実用化技術，赤字は研究開発項目 GSIS, Tohoku University 東北大学100周年記念セミナー 36
© Copyright 2024 Paperzz
