ステレオカメラによるカメラズーム機能使用時の AR の幾何学的整合性問題の解決 Geometric Registration for Zoomable AR using Streo Camera ○ 岡田和也 Kazuya Okada 武富貴史山本豪志朗宮崎純加藤博一奈良先端科学技術大学院大学 Takafumi Taketomi Goshiro Yamamoto Jun Miyazaki Nara Institute of Science and Technology Hirokazu Kato 1 はじめに現実環境を撮影した画像中に CG などによって表現される仮想環境を位置合わせして描画することで情報を付加するビデオシースルー型拡張現実感 (AR) では, 一般にカメラの内部パラメータは既知とし, カメラの外部パラメータのみをオンラインで推定することで位置合わせを実現している. そのため, カメラのズーム機能を用いた場合には, カメラの内部パラメータが変化し高精度な位置合わせを実現することが難しい. この問題に対して, 原崎らは, ステレオカメラを用い, カメラ画像間の対応関係から算出される基礎行列を用いて自己校正を行う手法を提案している [1]. この手法を用いることで, ズームによる内部パラメータおよび, 外部パラメータの変化を動的に推定することができる. しかし, 特徴点の対応付け精度が低い場合においては, 基礎行列の推定精度が低下するという問題がある. そのため, カメラ画像間で高精度に対応関係を得ることが難しい環境では, 安定した位置合わせを実現することが難しい. 本研究では, ズーム機能を持つカメラ（AR カメラ）と内部パラメータが既知のカメラ（基準カメラ）を用いることで, ズーム機能に対応した幾何学的位置合わせを実現する. 具体的には, 基準カメラの外部パラメータと事前に推定した AR カメラのズーム値と焦点距離の関係を用いて, AR カメラの外部パラメータおよび焦点距離を推定する. 2 カメラズーム機能に対応した幾何学的位置合わせ本研究では, カメラの外部パラメータ (位置 3 自由度, 姿勢 3 自由度) に焦点距離を加えた 7 自由度を推定することでズームに対応した幾何学的位置合わせを実現する. 提案手法は, オフラインでのカメラズームを考慮したカメラ校正処理とオンラインでの幾何学的位置合わせ処理で構成される. 以下では, それぞれの処理について倍率：最小フィルム面倍率：最大レンズ移動量 f mm) Abstract In this report, we propose a geometric registration method for AR, which handles camera zooming, using a set of zoom and non-zoom cameras. In our method, relation of lens movement and zoom values of the zoom camera is calibrated in advance. In the AR process, pose and focal length of the zoom camera are estimated by using the non-zoom camera and relation of lens movement. In the experiment, we confirmed that focal length of the zoom camera are accurately estimated by using our method. 0 0 焦点距離 (mm) 図 1: ズーム値と焦点距離の関係詳しく述べる. 2.1 ズーム機能を考慮したカメラ校正本研究では, まず AR カメラと基準カメラの相対関係について校正を行う. ただし, このカメラ校正処理では, AR カメラのズーム値は最小値に設定する. カメラ校正後, AR カメラのズーム値と焦点距離の関係について算出する. 本手法では, 図 1 に示す簡易ズームカメラモデル [2] を用い, 焦点距離の変化量をズーム値の変化に対するレンズ移動量として算出する. 具体的には, まず, AR カメラのズーム値を変化させ, 各ズーム値における焦点距離を Zhang の手法 [3] を用いることで推定する. 次に, 推定された焦点距離 f と焦点距離の変化量 f ′ = |f − fmin | の関係を算出し, 最小二乗法を用いて回帰直線を当てはめることで, レンズ移動量と焦点距離の関係 L(f ) = αf + β を推定する. ただし, fmin はズーム値を最小とした際の焦点距離, α, β はレンズ移動量と焦点距離の変換パラメータを表す. オンラインでの位置合わせ処理では, この L(f ) を用いて AR カメラの外部パラメータを推定する. ズーム値の変化によるレンズ移動量を考慮した幾何学的位置合わせ図 2 に世界座標系と AR カメラ, 基準カメラの座標系の関係を示す. AR カメラの位置・姿勢 T1 は世界座標系から基準カメラ座標系への変換 T2 を用いて以下のように表すことができる. 2.2 250 f min ARカメラ 200 T1 F( f レンズ移動量レンズ移動量L(f)(mm) f max ) T3 150 100 50 0 0 T2 50 100 150 200 焦点距離 f (mm) 250 300 基準カメラ図 3: 各ズーム値における焦点距離とレンズ移動量図 2: 座標系の設定 250 T1 = F(f )T3 T2 0 1 0 0 0 1 200  0  0  L(f ) 焦点距離の変化量焦点距離の変化量(mm)  1  F(f ) = 0 0 (1) (2) ここで, T3 は基準カメラと AR カメラの相対関係, F(f ) はズーム値の変化に伴う光軸方向の移動量を示す. また, 三次元点 P (X, Y, Z, 1) が観測される画像上の点 p(x, y, 1) は AR カメラの内部パラメータ K1 を用いて以下のように表すことができる. wp = K1 F(f )T3 T2 P  f  K1 =  0 0 0 f 0 u  v 1 (4) ここで, (u, v) は AR カメラの画像中心を表す. (u, v), T3 は事前に校正済みであり, T2 は基準カメラを用いて推定可能であるため, 式 (3) において未知のパラメータは f のみとなり, 最小二乗法により算出することができる. これにより, AR カメラの外部パラメータおよび焦点距離の 7 自由度を算出することができる. 3 実験提案手法の有効性を示すため, 焦点距離の推定精度の検証を行った. 本実験では, AR カメラとして CANON EOS Kiss X5(画像サイズ:1920 × 1280), 基準カメラとして Logicool HD Webcam C310(画像サイズ:640 × 480) を使用した. また, デスクトップ PC(CPU:Corei7 2.93GHz, メモリ:4.00GB) を用いて処理を行った. 焦点距離の推定精度を検証するために, まず焦点距離とレンズ移動量の関係について計測を行った. 計測結果を図 3 に示す. 計測結果より導出した関係 L(f ) を用いて, 以降の実験を行った. 図 4 に焦点距離の変化量 f ′ と提案手法によって推定された焦点距離の変化量 f ′′ を示す. 平均推定誤差は 10.3mm であり, 最大誤差は焦点距離 200mm 時の 15.4mm であった. 推定誤差の主な原因 f'' 100 50 0 0 50 100 150 200 250 300 焦点距離(mm) 焦点距離図 4: 提案手法により推定した焦点距離の誤差 (3)  f' 150 は, L(f ) 導出時の測定誤差であると考える. また, 処理時間はマーカ検出時間を含め, 平均 0.02 秒であった. この結果より, 提案手法が実時間で動作することが確認できた. 4 まとめ本稿では, カメラズームに対応した幾何学的位置合わせを実現するために, 事前にズーム値と焦点距離の関係を算出することで, AR カメラの外部パラメータ, 焦点距離の 7 自由度を推定する手法を提案した. 実験により基準カメラから得られる外部パラメータを用いて AR カメラの焦点距離の推定が可能であることを確認した. 今後の課題として, 観測される特徴点の再投影誤差を最小化することによる, より高精度な推定の実現などがあげられる. 参考文献 [1] 原崎俊介, 斎藤秀雄, ”拡張現実感のための未校正カメラ画像への仮想物体の重ね合わせ”, 信学論 (D-II), Vol.J85-DII, No.1, pp.46-55, 2002 [2] 沼尾利夫, 中谷裕, 奥富正敏, ”パン・チルト・ズームカメラの簡易モデルによるキャリブレーション”, 映像情報メディア学会論文誌, Vol.52, No.9, pp65-72, 1998 [3] Z. Zhang:”A Flexible New Technique for Camera Calibration”, Trans. PAMI, Vol.22, No.11, pp.1330-1334, 2000