分割取得した写真の高速結合アルゴリズムについての提案

分割取得した写真の高速結合アルゴリズムについての提案
THE PROPOSAL OF A HIGH-SPEED ALGORITHM FOR
MERGING IMAGE BASED ON IMAGES THAT ARE
OBTAINED IN DIVIDED MANNER
氏
英文氏名
名 米川 雅士
Masashi YONEKAWA
要旨
近年ドローンの普及により空中から写真や動画を撮影し公開する人々が世界中に増えている.これによ
り安価などローンが発売され空中写真を業務や研究に利用しようとする考えが増えてきた.しかし,空中
写真 1 枚だけを見ても何も利用することは出来ず,業務や研究に空中写真を活かすためには多くの空中写
真を結合させ広範囲を 1 度に確認できる必要がある.本論文では空中写真を利用する前処理の内,最も重
要な空中写真を短時間で結合させるイメージモザイキングについて新しいアルゴリズを提案する.
キーワード:写真結合(イメージモザイキング),画像処理,空中写真,ドローン,特徴量検出
1.背景・目的
ネットワークの高速化に伴い大容量の通信が可能となったことにより,YouTube のような動画投稿サイ
トがインターネットの世界では多く利用されるようになった.昨今ではこの動画投稿サイトを利用して個
人的な趣味を公開するユーザが多くなっており,そのなかでも 2012 年にドローンによる空撮動画が投稿さ
れたことにより,世界中でドローンによる空撮の動画投稿が多くみられるようになった.当初はユーザが
自作したドローンを利用して撮影を行っていたが,空撮動画の注目度が高まるにつれ一般ユーザからのド
ローンによる空撮要求が高まり,近年急速に世界中のメーカーから安価なドローンが発売され利用者が爆
発的に増える結果となった.その結果ドローンが手軽に入手することが可能となったため,ドローンを業
務に利用しようとする動きが活発になりつつある.現在では“輸送”,
“測位・測量”,
“安全管理”
,
“防災”,
“警備”など様々な分野で利用検討や研究が進められているが,空撮した画像を趣味や映像作品として公
開する場合は撮影した画像をそのまま利用すればよかったが,業務として利用を考えた場合は撮影した画
像をそのまま利用することは少なく,取得した画像データを元に他データと整合性をもたせることで付加
情報を加えたり,画像データから広域範囲の測量情報収集に利用しようとする場合には画像に前処理を施
す必要があり,このような利用を考えた場合には動画より高解像度である静止画像が利用されるのが一般
的である.詳細な画像データとして取得した静止画像を利用する場合は,撮影時にカメラの構造上やレン
ズの仕様などにより必ず含まれるノイズの補正が必要であり,現在はこれら多くの作業は人の手によって
実施されている.
次に空中写真の利用についてだが,これはドローンが発売される以前から様々な分野で利用されており,
最も多く利用されている分野として GIS(Geographic Information System)が上げられる.この GIS によ
る空中写真の利用としては広域な地表の状況を確認する方法としたり,人間が容易に入ることができない
危険地域の状況確認など多くの目的で利用されてきたが,空中写真の取得方法としては航空機からの撮影
が一般的である.この方法には多額の費用と手間を要するため必要な時に迅速な撮影が困難な方法であり,
10 年前に撮影した空中写真を利用し続ける事例も多々ある.また,近年の技術発展に伴い衛星から撮影し
た空中写真の利用例もあるが,この方法は航空機からの撮影に比べて安価という利点はあるが上空 150k
m以上から撮影するため,衛星の軌道制限により撮影の自由度がない点,雲の影響,対流圏などのノイズ,
画質の粗さなどの観点からあまり実用性は高くない空中写真といえる.よって,GIS の分野においてもド
ローンによる空中写真の取得が安価で自由度の高い空中写真を撮影することが可能といえ,様々な分野で
のイノベーションが期待されている.しかし,ドローンの最大の問題は飛行時間にあり一般的に市販され
ているドローンの飛行時間が 10~20 分程度となり撮影箇所までの移動時間を考慮にいれると実際の撮影
は数分しか行えないのが現状である.そこで私たちは先行研究として,前記した様々な分野で利用が可能
且つ GIS において最も要求の高い広範囲の空中写真を簡単に取得するため,自動航法 RC ヘリコプターの研
究を実施した.その成果として図 1 に記述した RC ヘリコプターをベースとして安価な自動航法 RC ヘリコ
プターを 2012 年に開発しており,飛行時間は計算上 50 分程度で PC による事前経路を地図上で選択するこ
とで広範囲の空中写真を誰でも簡単に取得が可能となっている.
図 1 先行研究による自動航法 RC ヘリコプター
このように安価且つ簡単に空中写真を取得することが可能となれば,次にこの空中写真を以下に早く利
用することが可能なのかという点が重要となる.先行研究で開発した自動航法 RC ヘリコプターのカメラで
シャッター速度を 1 回/秒に設定した場合に 1 回の飛行で撮影できる空中写真は 3000 枚近くになり,これ
ら空中写真を利用するための前処理を今まで同様に人の手作業に頼れば大変な時間がかかり多くの空中写
真が無駄になる恐れがある.そこで,空中写真を利用する上で最も重要且つ作業時間が一番かかる空中写
真を結合させるイメージモザイキングについて着目し,このイメージモザイキングを自動且つ高速で実施
するアルゴリズムの提案を本研究の目的とする.この複数枚の写真を結合する処理が高速で実現すること
が可能ならば新しい空中写真の使い方として,細かいサイクルでの変化についての監視が必要な森林の樹
木育成監視や刻一刻と変化する状況を正確に把握する必要がある災害時などで利用が可能となる.
2.イメージモザイキング
広い範囲の空中写真が欲しいと考えた場合に広角レンズの利用や動画の利用が考えられるが,撮影シー
ンに対する画像の空間分解能が低下するため安価に高解像度の画像を取得することは難しい.それに対し
カメラを動かしながら複数枚の画像を撮影し画像処理により繋ぎ合わせることができれば,手軽に広範囲
且つ高解像度の画像を得ることができる.そのため複数枚の画像を結合する処理であるイメージモザイキ
ングの研究は画像処理の分野において重要な研究である.以下にイメージモザイキングの一般的な処理手
順の概略を記述する.
① 徴点の検出とマッチング(2.1 参照)
② 幾何学的変換の推定(2.2 参照)
③ 画像の幾何学的変換と合成(2.3 参照)
なお,入力画像が 3 枚以上のイメージモザイキングに対しても,基本的に 2 枚に対する処理と同じ処理
を繰り返すことで実現が可能である.
2.1
特徴点の検出とマッチング
最初に繋げ合わせたい画像に対し各々の画像から特徴点を検出し,検出した特徴点同士を繋げ合わせる
マッチングという作業を実施し 2 枚の画像内にある特徴点の対応位置関係を求める.この特徴点の検出と
マッチングには様々な方法が提案されており,その代表的な手法については以下の各項に記述する.なお,
以下に記述する代表的な特徴点検出アルゴリズムとして SIFT,SURF,ORB,KAZE,AKAZE の 5 種類について
説明を記述するが,基本的なアルゴリズムは SIFT と同様なため SIFT 以外の処理については違いのみを記
述する.
2.1.1
SIFT[1]
SIFT(Scale-Invariant Feature Transform)とは 1999 年に David Lowe が提案した特徴量抽出の手法で
あり,画像の明るさの違いやスケール・回転変化に対してあまり影響を受けずにマッチングを行うことが
できる手法で特徴点の検出と特徴量の記述の 2 段階に分けて処理を実施する.
(1)特徴点の検出
画像中に拡大縮小があると,画像間の特徴点領域の濃淡パターンが変化するため,特徴点の対応付け
ができない.そこで,特徴点とその領域の大きさを表すスケールを検出する必要があり,複数の
DoG(Difference of Gaussian)画像を用いて計算することができる.DoG は LoG(Laplacian of Gaussian)
を近似したものであり,スケールの異なるガウス関数𝐺(𝜎) と入力画像Iを畳み込んだ平滑化画像 L の差分
により DoG 画像D(𝜎) 求めと式①で表すことができる.
𝐷(𝜎) = (𝐺(𝑘𝜎) − 𝐺(𝜎) ) × 𝐼 = 𝐿(𝑘𝜎) − 𝐿(𝜎)
𝐿(𝜎) = 𝐺(𝜎) × 𝐼
⋯
⋯ ①
②
ここで,kはσの増加率であり,スケールを少しずつ大きくして複数の DoG 画像を求めることが可能で
ある.これは平滑化処理によって閾値が隣接する 3 枚の DoG 画像において,注目画素を中心とした 26
近傍を比較し,注目画素が極値となる画素を特徴点候補及びスケールとして検出する.このように検出
した特徴点候補にはエッジ上の点が含まれることがある.エッジ上の画素は,開口問題の影響を受け易
いため削除し,特徴点のサブピクセル位置推定により特徴点の正しい位置とスケールを求める.さらに
サブピクセル位置での DoG 出力値を再度計算する.サブピクセル位置での DoG 出力の絶対値が閾値以下
の場合もノイズに影響されやすいため削除する.このような特徴点の絞り込みにより,対応付けしやす
い特徴点を取捨選択する.DoG 画像を用いた特徴点とスケールの検出では,局所的領域においてより多
くの濃淡情報をもつ範囲をスケールσとして自動的に決定する.これにより,同一対象物を大きく撮影
した画像ではスケールが大きく,小さく撮影した画像ではスケールは小さくなる.よって,画素間の拡
大縮小に関係なく対応点を求めることができる.求めた対応点から主曲率とコントラストにより安定し
た特徴点に絞り込むことが可能となる.
(2)特徴量の記述
2 枚の画像の撮影位置関係が同じだとは限らない点について処理を実施する.これは画像に対して回
転に不変な特徴量を得るために特徴点における方向であるオリエンテーションを算出する.オリエンテ
ーションは特徴点のスケールに合わせた局所領域内の平滑画像L(𝑥, 𝑦)から勾配強度m(𝑥, 𝑦)と勾配方向
θ(𝑥, 𝑦)を求める.
m(𝑥, 𝑦) = √𝑓𝑥 (𝑥, 𝑦)2 + 𝑓𝑦 (𝑥, 𝑦)2
θ(𝑥, 𝑦) = tan−1
𝑓𝑥 (𝑥,𝑦)
𝑓𝑦 (𝑥,𝑦)
⋯ ③
⋯ ④
𝑓𝑥 (𝑥, 𝑦) = 𝐿(𝑥 + 1, 𝑦) − 𝐿(𝑥 − 1, 𝑦)
{
⋯ ⑤
𝑓𝑦 (𝑥, 𝑦) = 𝐿(𝑥, 𝑦 + 1) − 𝐿(𝑥, 𝑦 − 1)
次に勾配強度と勾配方向から,重み付き勾配方向ヒストグラムを作成することにより勾配方向は 36
方向に量子化し,局所領域内の勾配強度を特徴点の中心に近いほど高く重みづけして処理する.勾配方
向ヒストグラムの最大値から 80%以上となるピークを特徴点のオリエンテーションとし,この特徴点
におけるオリエンテーションにより方向を表ことが可能となる.特徴量記述の際にオリエンテーション
を用いて向きの正規化を行うことで回転に不変な特徴量を得ることができる.
特徴点に対してオリエンテーション方向に 4×4 に分割した短形領域を合わせる.分割した短形には
8 方向の勾配ヒストグラムを作成する.特徴量は 4×4×8 の 128 次元となる.このように特徴点が持つ
オリエンテーション方向に座標軸を合わせた領域で特徴量を記述するため回転に不変な特徴量となる.
また,128 次元の各特徴ベクトルの長さをベクトルの総和で正規化することで証明変化に頑健な特徴量
となる.
2.1.2
SURF[2]
SURF(Speeded Up Robust Features)は,SIFT を近似処理により高速化したもので,HerbertBay らによっ
て提案された.SIFT は特徴点を検出に DoG 画像を用いていたが SURF では Hessian 行列式⑥を用いること
で平滑化処理の大幅な軽減化を実現しているため SIFT より高速で処理が行えるとされている.𝐿𝑥𝑥 (𝑥, 𝑦, 𝜎)
は x 軸方向の二次微分の結果である.またσはガウス関数の標準偏差である.
H=[
2.1.3
𝐿𝑥𝑥
𝐿𝑥𝑦
𝐿𝑥𝑦
]
𝐿𝑦𝑦
⋯
⑥
ORB[3]
ORB(Oriented FAST and Rotated BRIEF)の特徴点検出には,FAST(Features from Accelerated Segment
Test)と呼ばれる注目画素p(𝑥, 𝑦)を中心とする周囲 16 画素に注目し,画素値が注目画素の画素値よりも明
るい場合は Brighter,暗い場合は Darker,類似している場合は Similar というように 3 値化する.このと
き,周囲 16 画素において Brighter または Darker がある一定値の数以上連続する場合に注目画素を特徴点
としオリエンテーションを追加して回転に不変にした Oriented FAST が用いられている.SIFT や SURF な
どは特徴量の記述に実数を用いているため,メモリ容量の増加が懸念されるが,これを解決するためにバ
イナリコードを用いた特徴量の記述に BRIEF(Binary Robust Independent Elementary Features)が用いら
れている.また BRIEF は回転に不変でないため,ORB では選択するピクセルをオリエンテーション方向に
回転させる必要がある.よって SIFT に比べると歪みと回転に頑健にしたアルゴリズムといえる.
2.1.4
KAZE[4]
前記した SIFT, SURF,ORB で用いられる特徴点の検出はガウシアンフィルタで算出されているため,局
所的な特徴量をぼやかしてしまう傾向にあり,
特徴点検出がしづらいことがある.
これに対応するため KAZE
では非線形拡散フィルタを用いる.また KAZE の拡散フィルタは Perona and Malk 拡散法によってコントラ
ストの変化にも対応している.そのため SIFT に比べると特徴点のマッチングに対し高い精度を保つことが
でき,画像の拡大縮小に対し頑健にしたアルゴリズムといえる.
2.1.5
AKAZE[5]
KAZE で用いられる非線形拡散フィルタによる非線形スケールスペースの算出に要する計算ステップを小
さくないため,AKAZE(Accelerated KAZE)では FED(Fast Explicit Diffusion)を用いて高速化を図ってい
る.また M-LDB(Modified Local Difference Binary)によってロバスト性の高い特徴量を検出することも
可能となっている.
2.2
幾何学的変換の推定
画像間を繋ぎ合わせるための幾何学的な変換を求めるためにはどのような変換モデルを利用するかを決
める必要がある.例えば,ユークリッド変換を利用した場合には,一方の画像に対し,もう一方の画像を
回転と平行移動することで繋ぎ合わせることになる.これは,それぞれ紙に印刷した 2 枚の写真を一方の
写真を自由に動かしながら貼り合わせるようなイメージであるが,実際にはそれだけではうまく繋がらな
いことが多い.そこでイメージモザイキングでは,より柔軟な変換として,前節で説明した射影変換がよ
く利用される.射影変換は一般的に 3☓
3 の行列で表現されるが任意の低数倍を許した方程式であるため,
その行列には定数倍の不定正がある.そこで行列最後の要素ℎ33 をℎ33 = 1と仮定し,残りの要素について整
理することで,以下のような 2 つの式を得ることができる.
xℎ11 + yℎ12 + ℎ13 − xx ′ ℎ31 − x ′ yℎ32 = 𝑥 ′
⋯ ⑦
xℎ21 + yℎ22 + ℎ23 − xy ′ ℎ31 − yy ′ ℎ32 = 𝑦 ′
⋯ ⑧
式⑦,式⑧は,各画像の対応する特徴点の座標(𝑥, 𝑦)と(𝑥′, 𝑦′)が与えられたとき,ℎ11 , ℎ11 , ⋯ ℎ32 を未知数
とする方程式とみなすことができる.未知数の数は 8 個なので,対応する特徴点が 4 個以上あれば,式の
数が未知数の数以上となり,解を得ることができる.具体的には,各対応点が得られる式を以下に示すよ
うに並べて行列表現する.
Ah = b ⋯ ⑨
ここで
𝑥1
0
A = 𝑥2
0
[⋮
𝑦1
0
𝑦2
0
1
0
1
0
0
𝑥1
0
𝑥2
0
𝑦1
0
𝑦2
0
1
0
1
−𝑥1 𝑥′1
−𝑥1 𝑦′1
−𝑥2 𝑥′2
−𝑥2 𝑦′2
ℎ11
ℎ12
−𝑥′1 𝑥1
𝑥′1
ℎ13
−𝑦1 𝑦′1
𝑦′
1
ℎ21
−𝑥′2 𝑥2 ,h = ℎ ,b = 𝑥′2
22
−𝑦1 𝑦′1
𝑦′2
ℎ23
[ ⋮ ]
]
ℎ31
[ℎ32 ]
とすると最小二乗解は以下の式⑩で得られる.
A = (𝐴𝑇 𝐴)−1 𝐴𝑇 𝑏
⋯ ⑩
以上により,2 枚の画像の対応する特徴点の座標から,画像を繋ぎ合せるための射影変換を求めることが
できる.一方,前節で説明したマッチングの結果には誤った対応が多数含まれる.そのような誤った対応
はアウトライヤと呼ばれ,その対応点位置は大きな誤差を含んでいる.そこで,上で説明した方法を適用
する際に,アウトライヤを除く処理が必要になる.一般に,アウトライヤを含むデータから,アウトライ
ヤに影響されずに何らかのパラメータを推定する方法として RANSAC と呼ばれる方法がよく利用される.
RANSAC を用いて,射影変換パラメータを推定する手順を以下に述べる.
① パラメータを推定するために必要最小限のデータをランダムに選択する.上で述べた射影変
換を求める問題では 4 組の特徴点の対応をランダムに選択する.
② 選択した 4 組の対応点座標を用いて,射影変換のパラメータℎ11 , ℎ11 , ⋯ ℎ32 を求める.
③ 求めた射影変換パラメータを用いて,他の全ての対応点が正しく変換されるかをチェックす
る.ここで,正しく変換された対応点はインライアと呼ばれる.用いた投影変換パラメータ
に対応するインライアの数を数え記憶する.
④ ①~③の処理を繰り返し,最後に最もインライアの数が多い射影変換パラメータとそのイン
ライアを結果として出力する.
RANSAC の結果として投影変換パラメータが得られるが,アウトライヤが除かれたインライアだけの対応
点座標を用いて式⑩を改めて推定することで,より精度の高い射影変換パラメータを求めることができる.
2.3
画像の幾何学的変換と合成
前節で求めた射影変換を用いて実際に画像を変換し,画像を繋ぎ合せて 1 枚の大きな画像を生成する.
そのためには前節で説明したように,出力画像(モザイキング後の画像)の各画素位置の逆変換を行って
入力画像上の位置を求め,その位置の画像の値を補完処理により求める.このようにして画像を繋ぎ合せ
たときに画像の周辺光量の低下や画像間での明るさや色の違いなどにより,画像のつなぎ目が目立ってし
まうことがよくある.そこで画像を繋ぎ合せる際に,つなぎ目を目立たなくするような処理が必要になる.
そのための方法としては画像のつなぎ目の位置を適切に選ぶ方法や,画像が重なった部分で両方の画像
の画素値を混ぜ合わせる方法がある.後者の例として,両方の画像の重なった部分でアルファブレンディ
ングの考え方を利用し画素値を重み付き平均する方法がある.例えば,重なった領域のある位置において,
画像 1 の画素値を𝐼1 ,画素 2 の画素値を𝐼2 ,画像 1 の画像端からの距離を𝑑1 ,画像 2 の画像端からの距離を
𝑑2 とするとき,以下の式⑩を利用すれば繋ぎ目を目立たなくすることができる.
𝑑1 𝐼1 +𝑑2 𝐼2
𝑑1 +𝑑2
⋯ ⑩
3.提案アルゴリズム
ドローンの普及に伴い高解像度な空中写真が安価で簡単に手に入れられるようになり,様々な分野で利
用するために最も重要な前処理として前述したイメージモザイキングである.前章で一般的な処理方法に
ついて説明したが,簡単にイメージモザイキングの処理について説明すると画像の歪みやノイズを綺麗に
修正し特徴点を探し結合するという流れだが,現在は画像が高解像度のため画素毎に処理を実施したので
は膨大な時間がかかってしまい空中写真は取得できたが簡単に利用することができなくなる恐れがある.
そこで私が提案するアルゴリズムはイメージモザイキングの処理時間を軽減し,専門的な知識や技術を持
っていないユーザでも簡単に高速且つ高精度なイメージモザイキングが可能なアルゴリズムについて提案
する.前記したように特徴点の検出回数の軽減とマッチングの正確さを確保することが処理速度を早くす
ると考え,一般的なイメージモザイキングに以下の 2 点のアルゴリズムを追加することで格段に処理時間
が向上する.なお,提案アルゴリズムの処理概要を図 2 に記述する.
・マッチングを考えた場合に間違った対応点を選択する場合が多々ある.ならば画像をダウンサ
ンプリングし特徴量の大きなものだけを残し間違った対応点を選択する事を減らし,さらに解像
度を下げることで処理回数も大幅に削減ができる.
・結合する画像の枚数が増えれば画像サイズが大きくなり,その大きなサイズの画像と追加の 1
枚のイメージモザイキングを考えれば,画像の枚数が増えれば増えるほど処理時間がかかること
は容易に想像ができる.よって,一般的な画像フォーマットである JPEG は Exif のフォーマット
が採用されたことで,ヘッダ情報に GPS から取得した緯度経度情報が格納されるようになった.
この緯度経度情報を使い結合場所を予め絞ることで処理回数を大幅に削減できる.
図 2 提案アルゴリズム処理概要
4.結果
実際に自動航法 RC ヘリコプターを飛ばし取得した空中写真を使ってイメージモザイキングを実施した.
取得した空中写真は同じパターンの輝度値の変化が頻繁に出現するような画像で,単色の建物が写されて
いる画像より特徴点の対応付けが難しい草原のみを撮影した空中写真(解像度 3008×1688)56 枚と一般的
な建物が建造されている街中と仮定できる奈良学園大学上空を撮影した空中写真(解像度 4928×3264)22
枚の 2 種類を用いた.一般的に利用されている特徴量抽出アルゴリズムの SIFT,SURF,ORB,KAZE,AKAZE
の 5 種類と提案アルゴリズムを使用しイメージモザイキングを実施する.その際の処理時間(提案アルゴ
リズムの処理時間はダウンサンプリング時間,座標変換時間も含める)の比較を行った.処理を行ったコ
ンピュータは一般的に市販されている PC を利用した.PC のスペックは表 1 に記述する.なお,一般的な
特徴量抽出アルゴリズムはインテル社が公開しているコンピュータ向けビジュアルライブラリである
OpenCV Ver2.46 を利用して構築した.
表 1 処理利用 PC スペック一覧
CPU
Intel Core i7 2.0GHz
メモリ
4.00GByte
HDD
1.5TByte
OS
Windows7 Home Premium SP1
草原のみの空中写真,街中と仮定した空中写真は提案手法を用いても短時間でイメージモザイキングを
実施することができた.イメージモザイキングした画像を図 3 に記述し,それぞれの処理にかかった時間
とダウンサンプリングの倍率についての一覧表を表 2,表 3 に記述する.
(a)草原
(b)街中
図 3 提案手法によるイメージモザイキング
表 2 イメージモザイキング実施結果(草原)
画像ダウンササンプリング
一般的な
0.9 倍
0.7 倍
0.5 倍
0.2 倍
GPS あり
66[sec]
59[sec]
49[sec]
22[sec]
GPS なし
1758[sec]
815[sec]
185[sec]
47[sec]
GPS あり
62[sec]
37[sec]
31[sec]
☓
GPS なし
1222[sec]
429[sec]
155[sec]
☓
GPS あり
☓
☓
☓
☓
GPS なし
☓
☓
☓
☓
GPS あり
201[sec]
131[sec]
111[sec]
☓
GPS なし
660[sec]
516[sec]
370[sec]
☓
GPS あり
49[sec]
42[sec]
33[sec]
☓
GPS なし
174[sec]
115[sec]
71[sec]
☓
SIFT
処理
2767[sec]
SURF
1870[sec]
ORB
2499[sec]
KAZE
802[sec]
AKAZE
2344[sec]
表 3 イメージモザイキング実施結果(街中)
画像ダウンササンプリング
一般的な
0.9 倍
0.7 倍
0.5 倍
0.2 倍
GPS あり
15[sec]
13[sec]
9[sec]
8[sec]
GPS なし
588[sec]
222[sec]
32[sec]
8[sec]
GPS あり
40[sec]
33[sec]
30[sec]
☓
GPS なし
247[sec]
191[sec]
42[sec]
☓
GPS あり
23[sec]
22[sec]
18[sec]
☓
GPS なし
92[sec]
90[sec]
☓
☓
GPS あり
39[sec]
31[sec]
19[sec]
12[sec]
GPS なし
175[sec]
122[sec]
39[sec]
31[sec]
GPS あり
12[sec]
9[sec]
8[sec]
8[sec]
GPS なし
55[sec]
47[sec]
31[sec]
25[sec]
SIFT
処理
624[sec]
SURF
458[sec]
ORB
94[sec]
KAZE
183[sec]
AKAZE
61[sec]
5.考察
前章の結果において,表内に“☓
”が記入されている項目はイメージモザイキングの結果画像が見るからに失敗し
ている画像と判断できる.なお代表的な失敗イメージモザイキング画像を図 4 に記述する.また,最短時間で安定的
にイメージモザイキングが行えた提案手法は SIFT を利用した提案アルゴリズムであった.これは自動航法 RC ヘリコ
プターで自動で取得した画像のため,画像方向に大きなずれがなかったため SURF,ORB に対してもあまり意味のな
い処理が多かった分高速なイメージモザイキングとはならなかったと考えられる.また,ダウンサンプリングを行うこと
で局所的な特徴量のぼやかしがなくなり理想的なモデルとなったため KAZE,AKAZE による処理の効果は非線形を
モデル化する分だけ不利となったと考えられる.なお,画像ダウンサンプリングが 0.1 倍に設定した場合には全手法
においてイメージモザイキングは失敗している.
図 4 イメージモザイキング失敗画像
次に GPS 情報である緯度経度情報を使いマッチングを行う画像エリアを絞る提案についても,圧倒的に特徴量
検出の処理回数が少ないため最終的なイメージモザイキング完了時間の短縮が見られた.よって,本提案のアルゴ
リズムは有効だと判断できる.
結合画像は目視で違和感を感じることなく結合されていることが確認でき,特に学校の空中写真においては,提
案アルゴリズムを用いたほうがより自然な結合画像となっていることが確認できた.また,表 2,表 3 より処理時間は提
案アルゴリズムを利用したほうが 10 倍以上短くなっていることが分かり,今回提案したアルゴリズムは有効な提案であ
ることが確認できた.
【参考文献】
[1] 江尻 正員,奥富 正敏ほか, ”ディジタル画像処理[改訂新版]”, pp.105-112, 227-237, 2015 年 3 月
9日
[2] 中部大学 藤吉研究室, ”SURF:Speeded Up Robust Features”, 2009 年 8 月 10 日
[3] 三品陽平, “CVReading ORB:an efficient alternative to SIFT or SURF”,2011 年 12 月 20 日
[4] Pablo F. Alcantarilla, Adrien Bartoli, and Andrew J. Davison, “ KAZE Features” , ECCV’12
Proceedings of the Twelveth European Conference on Computer Vision , Firenze, Italy, October
2012.
[5] Pablo F. Alcantarilla, Jesús Nuevo, Adrien Bartoli “Fast Explicit Diffusion for Accelerated
Features in Nonlinear Scale Spaces.", In British Machine Vision Conference, Bristol, UK,
September 2013