社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
信学技報
TECHNICAL REPORT OF IEICE.
重み付き特徴点照合に基づく高速画像検索
木村 昭悟†
川西 隆仁††
大塚
和弘†
柏野
邦夫†
† 日本電信電話株式会社，NTT コミュニケーション科学基礎研究所， 神奈川県
†† 株式会社ぷららネットワークス， 東京都
E-mail: †{akisato,otsuka,kunio}@eye.brl.ntt.co.jp, ††[email protected]
あらまし
類似画像検索に関する新しい手法について報告する．スケール変化や視点移動などに伴う画像の幾何学変
動や，前景や背景の変化に伴う画像周辺領域の変動などに対応するためには，画像中の部分領域での照合結果を統合
することにより画像間の類似性を判断する方法が有効である．これまでに，幾何学変動に対処するための特徴点抽出
や，周辺領域の変動に対処するための注目領域抽出を用いた手法が数多く提案されている．本報告では，特徴点の重
要度を表現するために，注目領域抽出に利用されていた注目度を用いた，新しい類似画像検索方法の枠組を提案する．
すなわち，特徴点周辺の注目度によって特徴点の重み付けを行い，重み付き類似度により画像間の類似性を判定する.
しかし , 重み付き類似度を従来のインデキシング手法に適用することが困難である．本報告では，上記枠組における新
しいインデックス構築・検索手法として，重要度に基づくインデックスと重みなし類似度に基づくインデックスとを
段階的に構築し , これらを用いてインデックス検索を行う，2 段階インデックス検索を提案する．提案の方法を用いる
ことにより，重み付き類似値がある閾値以上となる特徴を漏れなく高速に検出することが可能となる．
キーワード
類似画像検索，特徴点，重要度，重み付き類似度，２段階インデックス検索
Fast image retrieval based on saliency-weighted interest point matching
Akisato KIMURA† , Takahito KAWANISHI†† , Kazuhiro OHTSUKA† , and Kunio KASHINO†
† NTT Communication Science Laboratories, NTT Corporation, Kanagawa, Japan
†† Plala Networks Inc., Tokyo, Japan
E-mail: †{akisato,otsuka,kunio}@eye.brl.ntt.co.jp, ††[email protected]
Abstract We present a new method for content-based image retrieval (CBIR). Region-based approach would be
effective to tackle with various kinds of fluctuation such as scale, viewpoint, and foreground-background changes.
Many algorithms to extract interest points or regions have been proposed for removing such fluctuations. In this
report, we propose a new concept of CBIR. The proposed method utilizes saliency for weighting, not for extracting
interest regions. That is, interest points are weighted by neighboring saliency. Saliency-weighted sililarity measure
is used for feature matching. One of the problems in the proposed framework is that applying weighted similarity to
existing indexing methods is difficult. We also propose a new indexing method called two-stage index search. The
first stage is based on saliency and the second one is based on (non-weighted) similarity. Two-stage index search
enables us to quickly detect all point features such that saliency-weighted similariry value exceeds a predefined
threshold.
Key words content-based image retrieval, interest points, saliency, weighted silimarity, two-stage index search
1. ま え が き
ディジタルカメラの普及，記憶媒体の低価格化・大容量化，
強く求められている．
画像検索における主要なアプローチとして，content-based
image retrieval (CBIR) が広く用いられている．CBIR では，
大容量ネットワークの普及などにより，容易に大量のデ ィジタ
キーワードに基づく検索とは異なり，各画像から色・物体形状・
ル画像を取得し保存する環境が整ってきている．そのため，大
テクスチャなど 自動的に取得可能な特徴を抽出し，特徴同士の
量の画像から所望の画像を高速に探し出す高速画像検索技術が
類似度に基づいて，ユーザから与えられたクエリ画像に類似す
—1—
る画像を画像データベースから検出する．CBIR の代表的な例
としては，QBIC [1] や ExSight [2] になど 代表される，画像中
の特定の物体に注目して検索を行う手法，VisualSEEK [3] な
ど に代表され る，物体の大まかな形状や配置を与えて検索を
Database images
Interest point
detection
Saliency calculation
Point Feature
extraction
Feature extraction
行う方法 [3] が知られている．さらに近年，画像の部分領域で
Interest point
detection
Point Feature
extraction
Saliency calculation
Feature extraction
Saliency index
creation
の照合結果を統合することにより画像間の類似性を判断する
region-based approach が提案されている [4]〜[6]．変動に頑健
Query image
Similarity index
creation
な部分的な領域に注目することで，画像全体を一律に扱う手法
Index creation
に比べ，より頑健な画像検索が可能となると考えられる．すな
(First) Saliency
index search
わち，同一の物体や風景を検出する場合でも生じ得る，拡大縮
小・視点移動・周辺画像変化などを吸収することができる．
(Second) Similarity
index search
スケール変化や視点移動などに伴う画像の幾何学変動に対処
するために，拡大縮小・回転などのアフィン変換に対して不変
Two-stage index search
Feature matching
な特徴点及び特徴量を抽出するアプローチが数多く提案されて
いる [9]〜[11]．しかし，一般の画像において，対象となる物体
Search results
図 1 提案手法の処理手順
あるいは風景のみが撮影されていることは少なく，画像中から
Fig. 1 Procedure of the proposed method
一律に特徴点を抽出すると検索精度を劣化させる可能性がある．
また，部分領域を抽出する方法として，人間の初期視覚特性
をモデル化した信号処理 [7] によって画像中の各点における注目
2. 概
要
度 (saliency) を計算し，注目度の値が大きい領域を抽出するこ
とで，画像中から物体領域を切り出す試みがなされている [8]．
本報告では，物体領域を抽出するために用いられていた注目
本節では，提案手法の概要について述べる．図 1 に提案手法
の処理手順を示す．
度を特徴点の重要性を表現するために用いる，新しい類似画像
まず，蓄積されている画像 D = {Di }N
i=1 の各々から，特徴
検索方法の枠組を提案する．すなわち，特徴点周辺の注目度を
を抽出する．ただし，N は蓄積画像の数である．特徴抽出では，
特徴点の「重要度」として定義し，この重要度によって特徴点
3 つの処理が行われる．まず，画像中から，スケール変動に対
の重み付けを行い，重み付き類似度により画像間の類似性を判
して頑健な特徴点
定する．上記方法により，注目されにくい箇所に存在する特徴
点を排除することが可能となり，より高精度な画像検索を実現
する枠組を提供できると考えられる．
n(D )
i)
P (Di ) = {pj (Di )}j=1 i = {(xj , yj )Di }n(D
j=1
def
def
を抽出する．ただし，(x, y)D は画像 D 上の座標 (x, y) であり，
高速な検索を実現するためには，インデキシングの導入が重
n(Di ) は蓄積画像 Di から抽出した特徴点の数である．特徴点抽
要であるが，重み付き類似度を従来のインデキシング手法に直
出と並行して，注目度 V (Di ) = {v(x, y) : (x, y) ∈ Di } を画像
接適用することは困難である．任意の距離関数に基づいてイン
中の各点において計算する．そして，抽出した特徴点 pj (Di ) に
デックスを構築する手法 [12] の適用も考えられるが，用いるイ
おいて ，回転など に 対し て不変な特徴 f j (Di ) = f (pj (Di ))
ンデックス構造や検索方法に制約が 生じるために，特徴の次元
を 抽 出し ，特 徴 点 周 辺に おけ る 注 目 度か ら 特 徴の 重 要 度
数が大きい場合にインデックス検索処理に多くの時間を要する
I(f j (Di )) = I(xj , yj )Di を求める．
など ，インデックス構造に依存した問題点が新たに生じる．
次に，上記手順により抽出した特徴 (蓄積特徴) にインデック
そこで本報告では，上記枠組における新しいインデックス構
スを付与する．インデックスは，蓄積特徴間の類似度に基づい
築・検索法である 2 段階インデックス検索についても示す．こ
て作成される類似度インデックスと，蓄積特徴の重要度に基づ
れは，重要度に基づくインデックスと重みなし類似度に基づく
いて作成される重要度インデックスの２種類を用意する．まず，
インデックスとを段階的に構築し，これらを用いてインデック
蓄積特徴に重要度インデックスを付与し，同じ 重要度インデッ
ス検索を行うものである．2 段階インデックス検索により，重
クスを付与された特徴のみを用いて類似度インデックス構造を
み付き類似値がある閾値以上となる特徴を漏れなく高速に検出
構築する．蓄積特徴間の類似度は後述の通り，重要度によって
することを可能とする．
以下，本報告の構成である．まず，2. 節で提案法の概要につ
いて述べる．3. 節から 4. 節において，特徴点抽出・saliency 算
出などの手法について紹介する．5. 節において，提案法の主要
技術である２段階インデックス検索の詳細について述べる．6.
節において提案法の効果について実験にて検証し，7. 節をむす
びとする．
重み付けされた類似度 (重み付き類似度) であるが，類似度イン
デックスを作成する際に利用する尺度は重み付けされていない
類似度 (重みなし類似度) である．
以上の処理は，クエリ画像を必要としないので，事前処理と
してあらかじめ実行しておくことが可能である．
クエリ画像が与えられると，まず，クエリ画像 Q から特徴
(クエリ特徴) を抽出する．特徴抽出では，蓄積特徴と同様に
n(Q)
して，クエリ画像から特徴点 P (Q) = {pj (Q)}j=1 を抽出し ，
—2—
抽出した特徴点における不変特徴 f j (Q) = f (pj (Q)) を抽出す
る．ただし ，n(Q) はクエリ画像から抽出した特徴点の数であ
る．必要に応じて，クエリ画像からも注目度 V (Q) を算出し ，
蓄積特徴と同様にしてクエリ特徴の重要度 I(f j (Q)) を決定す
ることもできる．
次に，各クエリ特徴 f j (Q) と類似する可能性のある蓄積特徴
図 2 特徴点抽出の例
の候補を，事前に作成したインデックスを用いて取り出す．イ
Fig. 2 Example of interest point detection
ンデックス検索は２段階に分けて行われる．すなわち，まず第
１段階として重要度インデックスを用いて蓄積特徴の絞り込み
を行い，その結果を受けて第２段階で類似度インデックスを用
いて詳細に照合すべき蓄積特徴をさらに絞り込む．このとき，
特徴照合の尺度として用いる重み付き類似度
るときに，この候補点を特徴点として採用する．特徴点は，画
画像を適切に作成することにより，スケール変化に対して頑健
def
= I(f (D)) · I(f (Q)) · S(f (D), f (Q))
(1)
について，その値があらかじめ定められた定数である選択閾値
θ を上回るものを漏れなく検出することを保証するものとする．
そして，詳細照合において，クエリ画像と類似性の高い蓄積
画像を選択する．画像間の類似尺度は以下のように定義する．
S(D, Q)
な特徴点を抽出することができる．
特徴点から抽出する特徴量として，前出の Mikolajczyk の手
法 [13] では Gaussian derivative を用いている．しかし，Gaus-
sian derivative には，高次のフィルタ係数が低次のフィルタ係数
に類似してしまう問題点がある．そこで本報告では，Gaussian
derivative に類似するフィルタ形状を持つ以下の特徴関数を用
いる．
1 n(Q)
n(Q)
=
ル方向において，候補点での Laplacian の値が極大となってい
像中の位置とスケールによって構成される．スケールスペース
SI (f (D), f (Q))
def
ただし，Laa (a = x, y) は a 方向の 2 階微分操作である．スケー
l=1
max
1<
= k<
= n(D)
SI (f k (D), f l (Q)) (2)
SI (f k (D),f l (Q))>θ2
f (x, y, φ, σ)
=
式 (2) はすなわち，各クエリ特徴について，重み付き類似値が
⎧
hx
⎨ ⎩x
0 =−hx
hy
⎫nf
⎬
(i)
ψP (x0 , y0 , φ, σ)D(x + x0 , y + y0 )
y0 =−hy
⎭
i=1
選択閾値を上回る蓄積特徴のうち最も重み付き類似値が大きい
(6)
ものを取り出し，取り出した重み付き類似値の平均値を求めて
いる．クエリ特徴との重み付き類似値が選択閾値を上回る蓄積
特徴が存在しない場合は，そのクエリ特徴に対しては重み付き
類似値を加算しないものとする．
(i)
ψP (x, y, φ, σ)
∝ exp −
x2 + y 2
2σ 2
本節では，特徴点抽出の方法，及び特徴点における特徴抽出
の方法について述べる．特徴点抽出の方法として任意の方法を
用いることができるが，本報告では Mikolajczyk らの手法 [13]
を用いる．以下では，この手法の概要について述べる．
まず，元の画像からスケールスペースを作成し，各スケール
から特徴点の候補を抽出する．特徴点候補の抽出には，以下の
式 (3) で定義される正規化 Harris operator h(x, y, σ) を用いる．
def
h(x, y, σ) = det{H(x, y, σ)} − δ · trace{H(x, y, σ)} (3)
def
H(x, y, σ) = σ 2
i+1
π
2
x cos φ + y sin φ
+1
2σ
(7)
3. 特徴点抽出
sin
L2x (x, y, σ)
Lx Ly (x, y, σ)
Ly Lx (x, y, σ)
L2y (x, y, σ)
ただし，D(x, y) は画像 D 上の座標 (x, y) におけるピクセル値
である．
本手法による特徴点の例を，図 2 に示す．左が元の画像，右
が特徴点を表示した画像であり，特徴点の箇所を丸印で表示し
ている．
4. 重要度抽出
本節では，特徴点重要度の算出方法，及び重要度算出の際に
必要となる注目度の算出方法について述べる．注目度の算出方
法も特徴点抽出同様，任意の方法を用いることができるが，本
(4)
稿では Itti らの手法 [7] を用いる．以下では，この手法の概要
について説明する．
ただし，La (a = x, y) は a 方向の微分操作であり，δ は定数で
ある．各スケールにおける Harris operator の極大点を，特徴
点の候補をする．
び その 前後で ，以下の式 (5) で定義され る正規化 Laplacian
operator LoG(x, y, σ) を計算する．
def
各成分を，スケールスペース画像から抽出する．位置 (x, y) 及
びスケール σ における輝度成分 J(x, y, σ) は，RGB 値 r(x, y)，
次に，抽出された候補点について，抽出されたスケール及
LoG(x, y, σ) = σ 2 |Lxx (x, y, σ) + Lyy (x, y, σ)|
まず，輝度成分 J ，色相成分 R, G, B, Y 及び方向成分 O の
g(x, y)，b(x, y) の平均値として求める (以下，位置 (x, y) 及び
スケール σ は，特に必要とされる場合を除いて省略する)．色
相成分 R(x, y, σ),G(x, y, σ),B(x, y, σ),Y (x, y, σ) は，以下のよ
(5)
うに求める．
—3—
r − (g + b)/2
J
g − (r + b)/2
G =
J
b − (r + g)/2
B =
J
(r + g)/2 − |r − g|/2 − b
Y =
J
(8)
R =
(9)
(10)
(11)
図 3 注目度算出の例
Fig. 3 Example of saliency calculation
ただし ，色相成分の計算において，0 未満の値が得られた場合
には，該当する色相成分の値は 0 とする．また，輝度成分の値
が極めて小さい場合は，色相成分の値を全て 0 に設定する．方
向成分 O(x, y, σ, φ) は，輝度成分 J(x, y, σ) に Gabor フィルタ
同士の加算である．
本手法による注目度の算出例を，図 3 に示す．左が元の画像，
右が注目度を示しており，白い部分が注目度が高く，黒い部分
を作用させることによって，以下のように求める．
が注目度が低い．
O(x, y, φ)
上記手法によって算出された注目度を用いて，各特徴点の重
hy
hx
=
ψI (x0 , y0 , φ)J(x + x0 , y + y0 )
(12)
x0 =−hx y0 =−hy
要度を決定する．本稿では，特徴点周辺の注目度の Gaussian
による加重平均を該当特徴点の重要度として採用している．
5. ２段階インデックス検索
ψI (x, y, φ)
=
1
x2 + y 2
exp −
4πα
4α2
5. 1 インデックス構築
cos(β(x cos φ + y sin φ))
(13)
ただし，hx , hy はフィルタの窓幅，φ はフィルタの回転角，α, β
はフィルタパラメータである．フィルタ回転角 φ は，2π を均
等に nφ 通りに分割するように設定する．
次に，各成分におけるスケール間差分を計算する．輝度成分
におけるスケール間差分 J(c, s)，及び方向成分におけるスケー
ル間差分 O(c, s, φ) は，以下のように求める (一般性を失わず，
スケールを c < s とする)．
本節では，２段階インデックス検索を実行するための イン
デックスの構築方法について述べる．
インデックスは，2. 節に記載の通り，(重みなし ) 類似度イン
デックスと重要度インデックスの２種類を作成する．インデッ
クスを個別に用意せず，重み付き重要度に基づいてインデック
スを作成する方法も考えられるが，類似度インデックス構築・
検索方法に制約がつくため，特徴次元数が大きくなったときに
検索速度が低下することが予想される．
重要度インデックスは，蓄積特徴に付与されたスカラー値で
J(c, s) = |J(c) J(s)|
(14)
ある重要度で蓄積特徴を分類することによって付与する．すな
(15)
I
，mI を重要度クラ
わち，重要度クラスタを C (I) = {Ci }i=1
(I) m
O(c, s, φ) = |O(c, φ) O(s, φ)|
スタ数とするとき，以下の式 (22) を満たす蓄積特徴 f (D) を
ここで， は異なるスケールの画像における対応するピクセル
同士の差分である．色相成分については，R と G，B と Y ，そ
れぞれの差分についてスケール間差分を計算する．
(I)
クラスタ Ci
に所属させ，重要度インデックス i を付与する．
def
def
(I)
(I)
I i = I(Ci ) < I(f (D)) <
= I i = I(Ci )
(I)
RG(c, s) = |(R(c) − G(c)) (G(s) − R(s))|
(16)
BY (c, s) = |(B(c) − Y (c)) (Y (s) − B(s))|
(17)
続いて，各スケール差分に対する正規化演算を定義する．正
規化演算 ν(·) では，まず，各要素からその最大値 M と極大値
の平均 µ を計算し，その後，各要素に (M − µ) を乗じる．こ
(I)
(I)
ただし，I(Ci ) および I(Ci ) は，分類 Ci
(22)
における重要度
の上限値と下限値であり，それぞれ分類重要度上限，分類重要
度下限と呼ぶ．蓄積特徴の分類を一意に定めるために，分類重
要度上限及び 分類重要度下限は以下の式 (23) を満たすことが
望ましい．
2
の正規化演算を用いて，注目度 V を以下のように求める．
˜ + wC · ν(C̃) + wO · ν(Õ)
V = wJ · ν(J)
(18)
J˜ =
ν(J(c, s))
(19)
{ν(RG(c, s) + ν(BY (c, s))}
(20)
c
C̃ =
s
c
Õ =
φ
s
ν
c
<
= Ii <
= I i+1 <
= ··· <
= I mI <
=1
= Ii <
(23)
重要度インデックスを付与した後，重要度分類ごとに個別に
類似度インデックス構造を構築する．類似度インデックス構造
の構築には，一般的に用いられている様々なインデックス構築
法 (例えば [14]〜[16]) を用いることが可能である．これらのイ
ν(O(c, s, φ))
0<
= I1 <
= I1 <
= I2 <
= ···
ンデックス構築法は通常，距離尺度に基づいて構築されている
(21)
s
ここで，⊕ は異なるスケールの画像における対応するピクセル
が，例えば，以下の式 (24) あるいは式 (25) に示す処理を施し
て，距離尺度 d(f D , f Q ) を類似度 S(f D , f Q ) に変換すること
で，そのまま適用することが可能となる．
—4—
S(f D , f Q ) = exp(−γ · d(f D , f Q ))
(24)
d(f D , f Q ) <
=γ
14
Matching time (saliency clusters=1)
Search time (saliency clusters=1)
Matching time (saliency clusters=20)
Search time (salinecy clusters=20)
12
(25)
otherwise
ただし ，γ はあらかじめ定められた定数である．本報告では，
類似尺度として式 (25) の変換を用いたユークリッド 距離を，類
Time [seconds]
⎧
⎨ 1 − d(f D , f Q )
γ
S(f D , f Q ) =
⎩ 0
10
8
6
4
似度インデックスとして文献 [16] で用いられたベクトル量子化
2
符号を採用した．
0
5. 2 インデックス検索
1
16
32
64
128
256
512
1024
Similarity Clusters
本節では，作成したインデックスを用いて照合すべき蓄積特
徴を絞り込む 2 段階インデックス検索について述べる．2 段階
図 4 類似度クラスタ数に対する検索時間の変化
インデックス検索では，まず，第 1 段階として重要度インデッ
Fig. 4 Relationship between search time and number of similarity
クスを用いて照合すべき蓄積特徴を含む重要度分類を選択し ，
clusters
第 2 段階において前段で選択された重要度分類に対応する類似
本実験では，蓄積画像として，Pennsylvania State Univer-
度インデックスを用いて蓄積特徴を絞り込む．
第 1 段階では，照合すべき蓄積特徴を含む重要度分類を選択
sity から配布された実画像データセット [17], [18] を用いた．こ
する．重み付き類似値は，重みなし類似値の上限値が 1 である
のデータセットには 1000 枚の画像が JPEG フォーマットで収
録されており，各画像のサイズは 384 × 256 で統一されている．
ことから，以下のような上限値を持つ．
蓄積画像から任意に 10 枚を取り出し ，これらをクエリ画像と
SI (f (D), f (Q))
して用いた．選択閾値は θ2 = 0.1 とした．
= I(f (D)) · I(f (Q)) · S(f (D), f (Q))
<
= I(f (D)) · I(f (Q))
6. 2 実 験 結 果
(26)
すなわち，各クエリ特徴 f (Q) について，以下の式 (27) を満た
(I)
す重要度分類 Cj
のみを選択しておけば ，クエリ特徴との重
み付き類似値が選択閾値 θ2 を上回る蓄積特徴を見落とすこと
はない．
(I)
I(Cj )
まず，類似度インデックスの大きさと検索時間との関係につ
いて調べた．前出 5. 1 節の通り，本報告では類似度インデック
スとしてベクトル量子化符号を用いているので，インデックス
の大きさはベクトル量子化の符号語数 (類似度クラスタ数) に
相当する．
図 4 に結果を示す．実線は検索時間，すなわちクエリ画像が
θ2
>
= I(f (Q))
(27)
与えられてから検索結果を出力するまでに要する時間を示し ，
破線は照合時間，すなわち特徴照合のみに要する時間を示す．
第 2 段階では，第 1 段階で選択された重要度分類に対応する
類似度インデックスを用いて，照合すべき蓄積特徴を絞り込む．
(I)
重要度分類 Cj
に所属する蓄積特徴 f (D) について，重み付
き類似値は以下のような上限値を持つ．
重要度クラスタ数が 1 と 20 の場合について結果を示している．
重要度クラスタ数が 1 の場合は，2 段階インデックス検索を用
いず類似度インデックスのみを用いて検索を実行する方法と等
価である．また，類似度クラスタ数が 1 の場合は，類似度イン
SI (f (D), f (Q))
デックスだけでなく重要度インデックスも使用しない，すなわ
ち全ての特徴を総当たりで照合する方法と等価である．そのた
= I(f (D)) · I(f (Q)) · S(f (D), f (Q))
(I)
<
= I(Cj ) · I(f (Q)) · S(f (D), f (Q))
(28)
め，重要度クラスタ数が 20 の場合には類似度クラスタ数が 1
の場合の結果を省略している．
すなわち，各クエリ特徴 f (Q) について，以下の式 (29) を満た
提案手法により，インデックスを全く利用しない場合に比べ
す蓄積特徴 f (D) のみを選択しておけば，クエリ特徴との重み
照合速度 (照合計算のみの速度) を最大 4 倍に高速化した．ま
付き類似値が選択閾値 θ2 を上回る蓄積特徴を見落とすことは
た，類似度インデックスを用いない場合に比べても照合速度を
ない．
最大 2 倍にしており，重要度の導入と 2 段階インデックス検索
S(f (D), f (Q)) >
=
6. 実
θ2
(I)
I(Cj )
· I(f (Q))
(29)
験
の高速化に対する寄与を示している．類似度クラスタがある程
度以上大きくなると検索時間が逆に増大していることが，図 4
よりわかる．これは，類似度クラスタ数を大きくしていくこと
によって照合時間に含まれないインデックス検索に要する時間
6. 1 実 験 条 件
が増大するためである．検索時間と照合時間との差について，
提案手法の効果を検証するために，1000 枚の画像中から類似
インデックス検索に要する時間はわずかであり，大半はクエリ
する画像を検索する実験を行った．実験に用いた計算機の CPU
画像からの特徴抽出のために費されている．特徴抽出処理に要
は Intel Xeon 3.0GHz，RAM は 3GB DDR2，OS は Fedora
する時間を短縮することが，今後の課題である．
Core 2，コンパイラは GNU C++ Ver.2.96 とした．
続いて，重要度クラスタ数と検索時間との関係について調べ
—5—
12
Matching time (similarity clusters=16)
Search time (similarity clusters=16)
Matching time (similarity clusters=128)
Search time (similarity clusters=128)
Time [seconds]
10
8
6
4
2
0
1
2
5
10
20
50
100
Saliency clusters
図 5 重要度クラスタ数を変化させたときの検索時間の変化
Fig. 5 Relationship between search time and number of saliency
clusters
た．図 5 に結果を示す．図 4 同様，実線が検索時間，破線が照
合時間を示す．類似度クラスタ数が 16 と 128 の場合について
結果を示している．重要度クラスタ数が 1 の場合は，2 段階イ
ンデックス検索を用いず類似度インデックスのみを用いて検索
を実行する方法と等価である．重要度クラスタを導入すること
によって高速化が行われているが，重要度クラスタ数をある程
度以上大きくしてもほとんど 高速化にしなくなる．これは，重
要度の分布に大きな偏りがあるためと考えられる．重要度の基
礎となっている注目度の処理において，正規化演算 ν(·) によっ
て，注目度の値の大きい領域が少数に絞られ，それ以外の領域
の注目度の値が抑圧されていることがその根拠である．
7. む す び
本報告では , 特徴点周辺の注目度によって特徴点の重み付け
を行い, 重み付き類似度により画像間の類似性を判定する, 新し
い類似画像検索方法の枠組を提案した. さらに , 提案する枠組に
おける新しいインデックス構築・検索法として, 重要度と重み
なし類似度に基づくインデックスを階層的に構築し検索を行う
2 段階インデックス検索を提案した. 実験により, 提案手法の高
速化への寄与が示された.
提案する類似画像検索の枠組について , その妥当性を評価す
るためには , 様々な変動要因を含む画像データベースに対する
精度の評価, 特に重みの有無による精度の評価が必要となるが ,
今後の検討課題である. また, 特徴点や特徴量の抽出, 照合方法
などについても, より高速かつ高精度な類似画像検索実現のた
[3] J. R. Smith and S. F. Chang: “VisualSEEK : a fully automated content-based image query system”, Proc. of ACM
Multimedia, pp.87-93, 1996.
[4] A. Natsev, R. Rastogi and K. Shim: “WALRUS : A similarity retrieval algorithm for image databases”, IEEE Trans.
Knowledge and Data Engineering, Vol.16, No.3, pp.301-316,
2004.
[5] C. Kim and C. Chung: “Partial similarity searching in large
image databases”, KAIST CS Technical Report, CS-TR2001-165, 2001.
[6] 木村 ，川西 ，柏野: “SPIRE: 総当たり 照 合と 同一の 精度を
保証する類似部分画像検索”, 画像の認識・理解シンポジウム
(MIRU2004) 予稿集, Vol.2, pp.400-404, 2004.
[7] L. Itti, C. Koch, E. Niebur: “A model of saliency-based
visual attention for rapid scene analysis”, IEEE Trans.
Pattern Analysis and Machine Intelligence, Vol.20, No.11,
pp.1254-1259, 1998.
[8] S. Kwak, B. Ko, H. Byun: “Automatic salient-object extraction using the contrast map and salient points”, Proc.
Pacific-Rim Conference on Multimedia (PCM2004), Vol.2,
pp.138-145, 2004.
[9] K. Mikolajczyk, C. Schmid: “Scale and Affine invariant
point detectors”, International Journal of Computer Vision, Vol.60, No.1, pp.63-86, 2004.
[10] D. Lowe: “Distinctive image features from scale-invariant
keypoints”, International Journal of Computer Vision,
Vol.60, No.2, pp.91-110, 2004.
[11] A. Sugimoto: “Algebraic analysis of some geometrical factors in object recognition”, PhD Thesis, University of
Tokyo, 1996.
[12] P. Ciaccia, M. Patella, P. Zezula: “M-tree’ an efficient access method for similarity-search in metric spaces”, Proc.
of International Conference on Very Large DataBases
(VLDB97), pp.426-435, 1997.
[13] K. Mikolajczyk, C. Schmid: “Indexing based on scale invariant interest points”, Proc. of International Conference
on Computer Vision (ICCV2001), pp.525-531, 2001.
[14] N. Beckman, H. P. Kriegel, R, Schneider and B. Seeger:
“The R∗ -thee : an efficient and robust access method for
points and rectangles”, Proc. of ACM SIGMOD Conference, pp.322-331, 1990.
[15] 片山，佐藤: “SR-Tree：高次元点データに対する最近接探索の
ためのインデックス構造の提案”, 電子情報通信学会論文誌, Vol.
J80-D-I, No.8, pp.703-717, 1997.
[16] 木村，柏野，黒住，村瀬: “グローバルな枝刈りを導入した音や映
像の高速探索”, 電子情報通信学会論文誌, Vol.J85-D-II, No.10,
pp.1552-1562, 2002.
[17] J. Z. Whang, J. Li and G. Wiederhold: “SIMPLIcity
: Semantics-sensitive integrated matching for picture libraries”, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.23, No.9, pp.947-963, 2001.
[18] “Test image database used in SIMPLIcity paper”,
http://wang.ist.psu.edu/IMAGE/.
めに, 今後さらに検討が必要になると考えられる. 本報告では ,
静止画像データに対する検索手法を提案したが , 今後は , 動画像
検索についても検討を進めていく予定である.
文
献
[1] M. Flicker, H. Sawhney, W. Niblack, J. Ashley, Q. Huang,
B. Dom, M. Gorkhani, J. Hafner, D. Lee, D. Petkovic, D.
Steele and P. Yanker: “Query by image and video content :
The QBIC system”, IEEE Computer, Vol.28, No.9, pp.2332, 1995.
[2] 串間, 赤間, 紺谷, 木本, 山室: “オブジェクトに基づく高速画像
検索システム: ExSight”, 情報処理学会論文誌, Vol.40, No.2,
pp.732-741, 1999.
—6—
© Copyright 2025 Paperzz
