ISMAR2011 論文まとめ

ISMAR2011 論文まとめ
Robust Planar Target Tracking and Pose Estimation from a Single Concavity
ロバストな平面を対象としたトラッキングと単一凹部からの姿勢推定

テクスチャがない平面オブジェクトの姿勢を追跡し,同時に推定する手法を提案

フレームごとにロバストな3次元の姿勢を推定するには,以下の問題を解決する


背景が識別可能であり,安定性の高いオブジェクトを検出する必要がある

第2に,視点の変更時や毎フレームごとにオブジェクトを再配置する必要がある

単一の閉じたオブジェクトの輪郭から姿勢を推定する必要がある

低い計算コストでかつリアルタイムに調節
必要な閉じた輪郭上の普遍的なフレームを検出するためにMaximally Stable Extremal
Regions (最大限に安定した極値領域

通称MSER)の特性を活用することを提案
MSERとは?

blob検出:点及び周囲に比べて明るさや色などの得性の異なる画像内の領域を検
出することを目標と視覚モジュール

検出したMSERを楕円領域とすることで,アフィン変換に不変な領域として検出
可能

実験で,正確でロバストなトラッキングの結果を得るためには,トラッキングのた
めに使用される1つのMSERは最低でも十分にその凸部分から外れ,凹んだ部分が必
要

キャニーフィルタで輪郭の抽出

キャニーフィルタ:ガウシアンフィルタとsobelフィルタを組み合わせてエッジ
を検出するフィルタ

複数の輪郭によって,オブジェクトの姿勢を推定することができる

Youtube:http://www.youtube.com/watch?v=T8nlAzc1trg
Accurate and Robust Planar Tracking based on a Model of Image Sampling and
Reconstruction Process
画像のサンプリングと復興過程のモデルに基づく正確でロバストな平面トラッキング


本論文では,画像の解像度における劣化はトラッキング性能も悪化させてしまうことを指摘

追跡されている面が視線方向に対して直角である場合

カメラから離れた場所に移動したときにおこる
問題に対処するため,画像のサンプリング・再構築のプロセスをモデル化し,正確にこれらの構
成を処理するためのモデルが組み込まれ,追跡するアルゴリズムを示す.

トラッキングの精度を維持しつつ,可能な限り密接して追跡する.これにより,従来の方法より
もトラッキングの範囲を広げることができる.
Homography-Based Planar Mapping and Tracking for Mobile Phones

リアルタイムのカメラ姿勢でのトラッキングとマッピングシステムを提示

平面を仮定する

マッピングはキーレーム及びそれらの間の平面的な射影変換によって行われる

キーフレームの姿勢を推定

カメラ姿勢でのトラッキングは,継続的に拡張される

バンドルアジャストメントと単眼SLAMの合成したもの

屋内で使うことを前提

精度の低下を許容の範囲にしたまま,単眼SLAMシステムに比べて計算量の大幅な削減
を実証
Toward Augmenting Everything: Detecting and Tracking Geometrical Features on
Planar Objects
平面オブジェクト上の幾何学的特徴の検出と追跡:すべての拡張に向けて
(a)落書き
(c)ISMAR 2011 のポスター

(b)手書き
(d)ARToolKitマーカー
(e)ランダムなドットマーカー
幾何学的特徴点を有する様々な平面オブジェクトを検出し,追跡するためのアプロー
チを提示

幾何学的特徴点に基づいたキーポイントマッチングを行うために,Locally Likely
Arrangement Hashing(LLAH)[21]キーポイント検出器を組み合わせた.

LLAHとは

特徴点の集合として文章画像を閲覧

特徴点の類似した構成を有しているページを検出

低解像度でも,検出することができる

遠近歪み,不均一な照明,ページ面の非線形変形でも動く

正確な認識率93%以上
入力画像
特徴点
参照ページ:http://imlab.jp/LLAH/

キーポイントの抽出を安定させるため,キーポイント選択時にキーポイントの応答と
キーポイント間の距離の基準を設定

各スケールの分布をキーポイントに応じて不均一な画像ピラミッドを構築

実験:検出で使用されるLLAHと伝統的なキーポイント検出器の適用性を評価

提案方法とSURFとの比較を行い,最終的にカラフルな写真,バイナリ基準のマーカや
手書きなどのテクスチャの異なる種類のものを追跡することが可能であることを実証
した
real-time self-localization from panoramic images on mobile phone
モバイル端末におけるパノラマ画像を用いたリアルタイム位置合わせ
【調査済み】
・カメラ撮影位置からユーザを囲うようにシリンダー状に画像をモザイキングし,p3p 問題
を用いてカメラ位置姿勢を推定する.
rapid scene reconstruction on mobile phones from panoramic images
パノラマ画像からのモバイルフォンにおける高速な復元
http://www.youtube.com/watch?v=Hreau3cJBb0

携帯端末を用いてパノラマ画像から高速に 3 次元復元を行う.

サーバクライアント方式の手法


パノラマ画像の作成,特徴量検出,マッチングなどはサーバで行っている.

携帯端末は画像の取得と描画をする
携帯端末で高速にパノラマ画像を作ったら裏ですぐさま 3 次元復元が行われる.

処理はパイプライン処理で逐次行われる.

シリンダーのカメラモデルを用いている

位置合わせは 5point と 3point アルゴリズムを用いている

バンドルアジャストメントは画像が全て取得できたあとにおこなわれる.
処理の概要
information-theoretic Database Building and Querying for mobile augmented reality
applications
モバイル AR アプリケーションにおける情報理論データベースの構築と検索問い合わせ

特徴点を用いた位置合わせのための DB の構築方法

情報理論,クラスタリングを用いた位置合わせ用 DB の構築

マッチングについてはニアレストネイバーを用いて高速化

DB 画像と入力画像のヒストグラム,SIFT 特徴量,RANSAC を用いて特徴点のアウトラ
イアを見つける

LMDB????
全体の処理の流れ
Gravity-Aware Handheld Augmented Reality
Daniel Kurz Selim Benhimane†

慣性センサで計測した重力方向を用いた手法

特徴点の記述やマッチングと平面テンプレートの検出と追跡の改善

重力ベクトルを組み込むことによりバーチャルな 3D オブジェクトのレンダリングの
視覚の質を改善

携帯式の AR

カメラとディスプレイの両方がユーザの手に位置し,それによって自由に動かす
ことが可能

カメラの姿勢は重力に対して既知の静的な方向性のある平面オブジェクトで決定

gravity-aligned feature descriptors (GAFD)

vertical surfaces

質と性能の点で特徴点記述子ベースのアプローチに頼ったトラッキングアル
ゴリズムの初期化の改善方法を説明

horizontal surfaces

カメラ画像を修正し,修正された画像で特徴点を検出,記述するために重力
ベクトルを使用することを提案


結果

改善された高精度な特徴を提供

特に急な視野角の状況下において早い初期化が可能
まとめ

バーチャル 3D オブジェクトのレンダリングは,携帯端末と実際の物体との間の
相対的な姿勢に加えて,重力の向きを取ることで,より現実的かつもっともらし
いものを作ることが可能
Tracking-by-Synthesis Using Point Features and Pyramidal Blurring
Gilles Simon

Tracking-by-synthesis

AR アプリケーションに適しているマーカレスの vision based camera tracking の手法

drift-free,viewpoint invariant,GPS や慣性センサなどの物理的なセンサを使用

エッジは以前から使用されてきたが,点特徴はまだこのフレームワークで使用されて
いない

ビュー合成を通して,点検出に関係する FAST,Harris,SURF を使用した再現性を比較

レンダリングされたテクスチャに depth blur を加えることで FAST や Harris コーナ
ー検出の再現性を大幅に改善することができることを示す


実験で最大 100%
校正済みの depth response curve を使用して,レンダリングされた画像に depth blur
をシミュレートするための手法を提案

性能要件を満たすためのピラミッド型のアプローチは,MIP マッピング手法ベースを
使用
Evaluating the Impact of Recovery Density on Augmented Reality Tracking
Christopher Coffin Cha Lee† Tobias H¨ ollerer‡

AR のための自然特徴点トラッキングは高い精度であるが,lost tracking に悩まされる

位置姿勢推定に失敗した場合

リローカライズとトラッキングの復帰が必要

カメラのシーンが新しい場合


ローカライズに関するタスクを実行する必要
ローカライズとリローカライズ

トラッキングを復帰するために,特定の点,特定のオブジェクト,十分な数のシ
ーンの一部,そして識別できる特徴点を用いて実行

位置/姿勢の復帰の density は,ユーザが追跡を再開するのにかかる時間にどのよう
に影響されるのかを探究

ローカライズのための 2 つの一般的な技術の評価

キーフレームベースの手法


キーフレームの一定の回収率を想定
モデルベースの手法

ローカライゼーションが成功する保証があるモデル周辺の点のグリッドを考慮
Using Egocentric Vision to Achieve Robust Inertial Body Tracking under Magnetic
Disturbances
Gabriele Bleser Gustaf Hendeby Markus Miezal

磁気擾乱下で頑健な慣性物の追跡を実現するために自己中心的なビジョンを使用した手法

再帰的なフィルタリングとモデルベースのセンサフュージョンに基づく,上半身のモ
ーショントラッキングのための自己中心的なソリューションを提案

胸に取り付けられたカメラの画像で,一般的に使用される磁力の測定の代用として手
首の検出が使用されています
RGB-D Camera-Based Parallel Tracking and Meshing

RGB-D カメラを用いて,トラッキングとメッシングを行う研究

RGB-D カメラで取得した画像群から構成する,3 次元データを用いることで,実時間
でのカメラ位置姿勢を推定.

カメラから取得可能な RGB-D 画像の各ピクセル群から,オンラインでトラッキング
対象環境のメッシュを作成
Encumbrance-Free Telepresence System with Real-Time 3D Capture and Display using
Commodity Depth Cameras

Depth Camera を利用して Telepresence システムを構築する研究

Telepresence とは、遠隔地のメンバーとその場で対面しているかのような臨場感を提
供する技術のことである。特に、高品質な音声や高解像度の映像などを駆使した、遠
隔地のメンバー同士で会議を催すためのシステムを指すことが多い

研究要件

本研究では,対象ユーザに特殊な器具を取り付けずに,ヘッドトラッキングを行う

リアルタイムで 3 次元空間の復元