MIRU2014 Extended Abstract 第 17 回画像の認識・理解シンポジウム画像修復を用いた隠消現実感河合紀彦1,a) 佐藤智和1,b) 横矢直和1,c) 1. はじめに隠消現実感 (Diminished Reality) とは，映像中の不要な物体をリアルタイムで視覚的に取り除く技術であり，映像中に仮想的な物体を重畳する拡張現実感 (Augmented Reality) の反対に位置付けられ，複合現実感分野において近年研究が盛んになりつつある．隠消現実感は，例えば図 1 に示すような，現実環境中の家具や看板の除去による屋内外環境の景観シミュレーションや，マーカを用いた拡張現実感において現実環境と仮想物体の真の融合を実現するためのマーカの隠蔽のような目的に応用できる．隠消現実感は背景画像を除去対象物体の上に重畳することで実現されるが，これまでの研究では背景画像を生成するために，実際の背景を事前にまたは複数のカメラを用いて取得する手法 [1], [2] と画像修復を用いる手法 [3], [4] が提案されている．真の背景が必要であるアプリケーションでは前者の手法を用いることが必然である．しかし，必ず図 1 隠消現実感のアプリケーション例 (左列：入力画像，右列：本しも真の背景が必要でないアプリケーションにおいて，対手法による結果，上段：家具の除去，中段：看板の除去，下段：象物体が固定されている，または移動させることが困難な拡張現実感マーカの隠蔽) ため，その背景を取得することが出来ない場合や，背景の事前取得等のユーザの負荷を減らしたい場合には，後者の 2.1 対象シーンの解析手法の方が有効である．本研究では，後者の画像修復を用処理 (A) では，まず PTAM[6] により初期のカメラ位置いる手法に着目し，対象シーンを解析することで，三次元姿勢と特徴点の三次元位置を推定し (a-1)，図 3(a) に示す的なシーンに対応した隠消現実感を実現する [4]．ただし，ようにユーザが対象物体を画面上で囲み指定する (a-2)．対本研究では，除去対象物体は静止しており，背景形状は複象物体を囲み終えた時のフレームを，キーフレームとして数の局所的な平面で近似できると仮定する．画像修復処理 (B) で用いる．次に，対象物体周辺の特徴点 2. 画像修復を用いた隠消現実感手法の概要をドロネー分割により連結することで特徴点の法線ベクトルを算出し (a-3)，得られた法線ベクトルを特徴量とした図 2 に提案手法の処理の流れを示す．本手法は，まず三 mean-shift クラスタリングにより，各特徴点を任意の数の次元的なシーンに対応するための対象シーンの幾何学的なグループに分類する (図 3(b))．次に，各グループの特徴点解析を行い (A)，次に，解析結果を利用し，キーフレームにに対し，LMeds により平面を当てはめる (a-4)．ここで平対する画像修復処理 (B) および，フレーム毎の修復画像の面の数は，基本的にはグループの数とするが，あるグルー重畳処理 (C) を並列に行う．以下，各処理について述べる．プ内における特徴点の数が他のグループよりも極端に少ない場合は，そのグループは取り除く．次に，当てはめた全ての平面を画像平面に投影し，カメラと最も近い平面を各 1 a) b) c) 奈良先端科学技術大学院大学情報科学研究科〒 630–0192 奈良県生駒市高山町 8916–5 [email protected] [email protected] [email protected] 画素に割り当てる．この割り当てに基づき，図 3(c) に示すように除去対象領域を含む画像全体を分割する (a-5)．次に，処理 (B) および処理 (C) において，入力画像を各平面に対して真正面から見たような画像に変換する画像の正対 1 This abstract is opened for only participants of MIRU2014 MIRU2014 Extended Abstract 第 17 回画像の認識・理解シンポジウム (A) 対象シーンの解析 (a-1) 初期カメラ位置・姿勢および特徴点三次元位置の推定 (a-2) ユーザによる除去対象の選択 (a-3) 各特徴点の法線ベクトルを算出 (a) 領域指定 (a-4) 背景に任意の数の平面を検出 (b) グループ化図 3 (a-5) 画像の領域分割 (c) 画像分割対象シーン解析 (a-6) 画像正対化のためのパラメータの保存 (a-7) 除去対象の三次元領域の設定正対化物体除去の開始 (B) 画像修復 (C)修復画像の重畳（キーフレーム）（毎フレーム） (b-2) 探索領域の限定 (c-2) カメラ位置姿勢の推定 (b-3) 欠損領域に初期値の付与 (b-4) 類似テクスチャパターンの探索 (b-5) 画素値の更新エネルギーの収束まで反復図 2 (c-3) 画像の正対化 (c-4) マスク領域の設定探索領域の限定次のフレーム (c-1) 画像を取得（暫定的な）修復画像 (b-1) 画像の正対化画像修復 (c-5) 修復画像の色調補正 (c-6) 各正対画像のマスク領域に背景重畳 (c-7) 正対画像の結合提案手法の処理の流れ図 4 画像修復の流れピーしただけでは違和感が生じる場合がある．このため，キーフレームと現フレームの正対画像を比較することで，化に利用するための，各平面上の 4 点の三次元位置を保存色調の変化率を算出し，キーフレームの修復画像の色調をする (a-6)．最後に，処理 (C) において，修復画像を重畳調整を行った後，マスク領域に重畳する (c-5)，(c-6)．最後するためのマスク領域を設定するための，対象物体を含むに，各正対画像上での重畳結果をもとの入力画像の見え方三次元領域を設定し保存する (a-7)．なお，本処理は，ユーに変換し結合することで，対象物体が除去された画像を出ザによる対象領域の指定後，数十ミリ秒程度で完了する．力する (c-7)．処理 (C) の処理速度は，検出される平面数等にも依存するが，おおよそ 20 から 30fps である． 2.2 画像修復謝辞本研究の一部は，日本学術振興会科学研究費補助金，処理 (B) では，高品質な修復結果を得るために，図 4 に示すように，画像の正対化および，画像の領域分割結果に基基盤研究 (A)，No. 23240024，若手研究 (B)，No. 24700118 による．づく探索領域の限定を行う．その後，各画像に対して画像修復 [5](欠損領域に初期値を付与した後，類似テクスチャパターンの探索と画素値の更新の反復処理) を行うことで参考文献 [1] 修復画像を得る．画像修復が完了するまでには数秒程度かかるため，最初の数秒程度は途中結果を用いて処理 (C) にて重畳処理を行うことになるが，数秒後には完全に修復さ [2] れた高品質な修復画像を用いて物体の除去を行うことができる． [3] 2.3 修復画像の重畳処理 (C) では，まず PTAM[6] によりカメラ位置姿勢を [4] 推定し，それを利用し (a-6) で保存した 4 点を画像上に投影し，ホモグラフィを求めることで画像の正対化を行う (c-3)．次に，(a-7) で得られた三次元領域を各平面に投影することでマスク領域を得る (c-4)．次に，修復画像を現フレームのマスク領域に重畳するが，環境の照明変化やカメ [5] [6] Cosco, F. I., Garre, C., Bruno, F., Muzzupappa, M. and Otaduy, M. A.: Augmented Touch Without Visual Obtrusion, Proc. ISMAR, pp. 99–102 (2009). Enomoto, A. and Saito, H.: Diminished Reality using Multiple Handheld Cameras, Proc. ACCV’07 Workshop on Multi-dimensional and Multi-view Image Processing, pp. 130–135 (2007). Herling, J. and Broll, W.: PixMix: A Real-Time Approach to High-Quality Diminished Reality, Proc. ISMAR, pp. 141–150 (2012). Kawai, N., Sato, T. and Yokoya, N.: Diminished Reality Considering Background Structures, Proc. ISMAR, pp. 259–260 (2013). Kawai, N. and Yokoya, N.: Image Inpainting Considering Symmetric Patterns, Proc. ICPR, pp. 2744–2747 (2012). Klein, G. and Murray, D.: Parallel Tracking and Mapping for Small AR Workspaces, Proc. ISMAR, pp. 225– 234 (2007). ラの光学パラメータの変化により，修復画像をそのままコ 2 This abstract is opened for only participants of MIRU2014