Cascaded FASTとCARDによる

第 16 回画像の認識・理解シンポジウム
Cascaded FAST と CARD による
高速な 2 画像間の対応付け
長谷川昂宏1,a)
安倍満2,b)
山内悠嗣1,c)
吉田悠一2,d)
藤吉弘亘1,e)
1. はじめに
2 画像間のキーポイントの対応付けは特定物体認識やパ
ノラマ画像生成，画像検索などのアプリケーションに用い
られる．これらのアプリケーションでは，画像の回転，ス
図 1
提案手法による 2 画像間の対応付けの流れ．
ケール変化，照明変化，視点変化などに関わらず，高精度
Brighter，Similar，Darker に分類し，Brighter または Darker
なキーポイントの対応付けが必要とされる．また，アプリ
が {11, 9, 6} 画素以上連続する場合に注目画素をキーポイ
ケーションの性質からリアルタイムに動作することも重要
ント候補点とする．そして，キーポイント候補点に対して
である．2 画像間の対応付けは，(1) 画像からキーポイント
周囲 {20, 16, 12} 画素のオリエンテーションを算出する．
検出，(2) キーポイントに対して特徴量記述，(3) キーポイ
周囲 {20, 16, 12} 画素の連続する Brighter または Darker
ント間の距離計算の 3 段階の処理で実現できる．
の始点から終点までの角度を求め，その角度を 2 等分する
本稿では Cascaded FAST と CARD による高速な 2 画像
方向をオリエンテーションとする．周囲 {16, 12} 画素のオ
間の対応付けを提案する．Cascaded FAST[1] は機械学習に
リエンテーション間の角度と周囲 {20, 16} 画素のオリエン
より学習した 3 つの決定木を用いることで，高速にキーポイ
テーション間の角度がそれぞれ閾値以下の場合，注目画素
ントを検出することができる．そして，Compact And Real-
をキーポイントとする．
time Descriptors (CARD)[2] により高速に特徴量を記述す
Cascaded FAST では周囲 {20, 16, 12} 画素を参照する
る．CARD はルックアップテーブルを用いることで高速
ため 3 本の決定木を FAST と同様に学習し，カスケード
に勾配方向ヒストグラムに基づく局所特徴量を算出するこ
状に並べる．この決定木をトラバーサルすることにより，
とができる．さらに，Supervised Sparse Hashing により
FAST よりも多くの画素を参照するため，図 2 のように不
局所特徴量をバイナリコードに変換することでハミング距
要な点の検出を抑制することができる．
離により高速にキーポイントの対応付けが可能となる．
2. 高速な 2 画像間の対応付け
また，Cascaded FAST はキーポイントの座標に加え，オ
リエンテーションとスケールも同時に出力することができ
提案手法による 2 画像間の対応付けはの流れは (1)Cas-
る．オリエンテーションは周囲 {20, 16, 12} 画素の 3 つの
caded FAST によるキーポイント検出，(2)CARD による
オリエンテーションのうち，分解能が最も高い周囲 20 画
特徴量の記述，(3) ハミング距離による距離計算である．提
素のオリエンテーションを出力する．また，スケールは画
案手法の流れを図 1 に示す．以下に各処理の詳細について
像ピラミッドからキーポイントを検出することで獲得でき
述べる．
る．図 3 にキーポイント (座標，オリエンテーション，ス
2.1 Cascaded FAST による高速なキーポイント検出
ケール) の検出結果を示す．
Cascaded FAST は周囲 {20, 16, 12} 画素を参照する 3
本の決定木を用いたキーポイント検出法である．
まず，周囲 {20, 16, 12} 画素を FAST[3] と同様に
1
2
a)
b)
c)
d)
e)
中部大学〒 487-8501 愛知県春日井市松本町 1200 番地
株式会社デンソーアイティーラボラトリ〒 150-0002 東京都渋
谷区渋谷二丁目 15 番地 1 号渋谷クロスタワー 28 階
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
図 2
FAST と Cascaded FAST の比較．
1
第 16 回画像の認識・理解シンポジウム
図 4
図 3
キーポイントの検出結果．
Cascaded FAST と CARD による 2 画像間の対応付けの例．
図 4 から画像の回転，スケール変化などに関わらず高精度
2.2 CARD による高速な局所特徴量の記述
に 2 画像間を対応付けていることが確認できる．また，図
CARD は，高速に計算可能であり，128 ビット程度のバ
5 に各手法における 2 画像間の対応付けの処理時間を示す．
イナリコードで表現される局所特徴量である．CARD は
ルックアップテーブルを用いた高速な局所特徴量抽出と
Supervised Sparse Hashing による高速なバイナリコード
変換の 2 段階から成る．
まず，パッチのオリエンテーションを補正後，キーポイ
図 5
ント周辺領域をセルに分割し，各セルから勾配方向ヒスト
2 画像間の対応付けの処理時間の内訳．
グラムを抽出する．その際，パッチの各画素がどのセルに
FAST と ORB の組み合わせでは，コーナーを高速に検
属するかをルックアップテーブルを用いて高速に求めるこ
出できる一方，FAST はテクスチャが複雑な領域から多く
とができる．そして，抽出された局所特徴量 d ∈ R136 を
のコーナーを検出するため距離計算に多くの時間を要する．
式 (1) によりバイナリコード b ∈ {0, 1}128 に変換する．
b = (sgn(WT d) + 1)/2
(1)
ここで，W ∈ R136×128 は変換行列であ．W は変換前
の局所特徴量間の距離と，変換後のバイナリコード間の距
提案手法である Cascaded FAST と CARD の組み合わ
せでは，2 画像間の対応付けの計算コストを大幅に削減す
ることができ，約 33[fps] でリアルタイム処理が可能であ
る．以下にその理由を述べる．
・Cascaded FAST による不要なキーポイントの削減
離が一致するように最適化することにより元々の特徴量
2 画像間のキーポイントの全ての組み合わせに対してハ
の記述能力を維持することができる．また，W の各要素
ミング距離を計算する必要があるため，不要なキーポイン
が {-1,0,1} のうちいずれかの値を取るという制約を入れる
トの検出を抑制することで計算コストを大幅に削減できる．
ことで高速に変換できる．さらに，W の要素のうち 0 が
・CARD により生成されるバイナリコードのビット長
90%を占めるように最適化することで局所特徴量を高速に
ORB では 256 ビットのバイナリコードで特徴量を表現
バイナリコードへ変換する．
するのに対し，CARD では 128 ビットのバイナリコードで
2.3 ハミング距離による 2 画像間の高速な距離計算
特徴量が表現される．そのため，ORB に対して半分の処
CARD により記述したバイナリコードを用いてキーポイ
理時間で距離計算ができる．さらに，短いバイナリコード
ントの対応付けをする．そのため，2 枚の画像から得られ
による表現はメモリ消費量の削減に対しても寄与する．
るキーポイント間のハミング距離を計算する．ハミング距
4. おわりに
離はビット演算を用いることで高速に計算可能である．画
本稿では不要なキーポイントの検出を抑制する Cas-
像間のキーポイントの対応付けをするため，ハミング距離
caded FSAT と高速に特徴量を記述する CARD を組み合
が 1 番小さいペア d1 と 2 番目に小さいペア d2 を比較し，
わせることで，高速な 2 画像間の対応付けが可能となった．
式 (2) が成り立つ場合に対応点とする．
今後の課題として，提案手法の更なる効率化や性能の向上
d1 < d2 × k
(k < 1.0)
(2)
3. 評価実験
などが挙げられる．
参考文献
[1]
長谷川昂宏，山内悠嗣，藤吉弘亘，安倍満，吉田悠一，“Cascaded
[2]
M. Ambai and Y. Yoshida,“CARD: Compact And Real-time
[3]
E. Rosten and R. Porter, T. Drummond,“Faster and Better:
Cascaded FAST と CARD による 2 画像間の対応付けの
有効性を確認するために評価実験をする．比較手法を表
FAST によるキーポイント検出”，SSII，2013.
Descriptors”, ICCV, 2011.
1 に示す．CPU は Intel(R) Xeon(R) X5470 3.33GHz を使
用する．
A Machine Learning Approach To Corner Detection”, PAMI,
表 1 比較手法.
キーポイント検出
オリエンテーション算出
特徴量記述
FAST[3]
モーメント [4]
ORB[4]
Cascaded FAST[1]
Cascaded FAST[1]
CARD[2]
Vol. 32, No. 1, pp. 105 - 119, 2010.
[4]
E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “ORB
: An Eﬃcient Alternative to SIFT or SURF”, ICCV, 2011.
図 4 に提案手法による 2 画像間の対応付けの例を示す．
2

Download Report