長野県工技センター研報 論文 No.2, p.I30-I35 (2007) オーバーラップブロックマッチングによる 密な動き推定を用いた超解像の性能改善 武久泰夫* 田中 清** Performance Improvement of Super-Resolution by Dense Motion Estimation using Overlapped Block Matching Yasuo TAKEHISA and Kiyoshi TANAKA 本論文では，仮想的に 密な動き推定 (Dense Motion Estimation:DME)を実現し，動画像系列に対す る超解像の性能を改善するための方法を提案する。はじめに，従来法の一つである階層的ブロックマ ッチング(Hierarchical Block Matching:HBM)によるDMEを超解像に適用し，HBMを用いたDMEの動き 推定精度は観測画像の品質に大きく依存することを確かめる。続いて，オーバーラップブロックマッ チング(Overlapped Block Matching:OBM)により仮想的にDMEを実現する方法を提案する。この方法は， 個々の動きベクトルの精度を向上させるものではないが，微小領域に複数本の動きベクトルを割り当 てて仮想的な参照フレームを増加し，超解像の性能を向上させる。シミュレーションにより，提案す る仮想的なDMEが，観測画像の品質に依存せず安定して超解像に有効であることを示す。 キーワード：超解像，密な動き推定，階層的ブロックマッチング，オーバーラップブロックマッチン グ，動きベクトル １ は じ め に 防犯・監視目的にモニタリングカメラを使用するよう よってDMEを実現し，これを超解像に適用する試みを報 なアプリケーションでは，サイズやコストの制限が厳し 段階的に小型化しても，推定された動きベクトルの精度 く，高解像度画像の取得は難しい。しかし，そのような は，観測画像の品質に依存してブロックの大きさがある 低解像度カメラにより撮影された情報が重要になる場合 サイズ以下になると低下する。そこで本研究では，まず も多い。このようなとき，何らかの信号処理により，映 Schultzらの超解像手法2)における動き推定部分をHongら 像の潜在的な情報を引き出すことができれば，撮影機器 のHBMに基づくDME3) に置き換え，2種類の動画像系列 の性能以上の高解像度画像を生成できる可能性がある。 を対象にそれぞれの再構成画像を求め，超解像の性能検 1) 告している3)。しかし，HBMによってブロックサイズを これを実現しようとする試みのひとつが超解像 である。 証を行う。そして，比較的品質の高い観測画像に対して 超解像を実現するいくつかの方法の中で，本論文では， はHongらのDME3)は有効性が認められるが，超解像の対 SchultzとStevensonにより提案された方法2) に注目した。 象として重要性の高い低品質な観測画像に対しては動き この方法は，動きベクトルを通して得られる近隣の観測 推定の精度が低下し，超解像の性能が著しく低下する実 画像からの情報，ならびに事前に仮定した画像の確率モ 験結果を示す。次に，画像符号化においてブロックノイ デルからの情報を求め，その両者を用いたMAP推定によ ズを低減する目的で使用されるオーバーラップブロック り高解像画像を再構成する。一般に，超解像で得られる マッチング(Overlapped Block Matching:OBM)を利用し， 高解像度画像の品質は，動き推定精度に極めて強く依存 仮想的にDMEを実現する動き推定の方法を提案する。こ する。そこで近年，超解像への適用が検討されているの の動き推定は，オーバーラップ部分の動きベクトルその は，画素ごとに動きベクトルを求める ものの精度向上をもたらすわけではないが，複数ブロッ 密な動き推定 (Dense Motion Estimation:DME)である。Hongらは階層的 クがオーバーラップする微小領域に，ブロック数に応じ ブロックマッチング(Hierarchical Block Matching:HBM)に た複数本の固有な動きベクトルを与え，見かけ上の参照 画像数を増加させて超解像の性能改善を達成する。シミ * 通信基盤部 ** 信州大学工学部 ュレーションをとおし，提案法によって得られる再構成 画像の品質が，従来法のそれと比較して著しく向上する ことを示す。 - I 30 - ２ 動画像系列を用いた超解像の原理 超解像を実現する方法としては，空間領域，周波数領 v2 域，確率的，凸解析，適応的フィルタなど，各種のアプ v0 v2 v p v0 v3 v1 B B B 2 0 3 v3 v1 B2 B0 B1 Bc B3 Bp B1 Bc ローチが報告されている1) 。本研究では，事後確率とし て近隣の観測画像からの情報を取り込むとともに，予め (a)ステージ1 予想される解の情報を事前確率として考慮できる確率的 v (4×4) v2 v1 アプローチを採用した。 (b)ステージ2 P2 P1 Pc 2) Schultzらによって提案されたこの超解像手法 は，動 B (4×4) きベクトルを通して得られる近隣の観測画像からの情報 と，事前確率モデルとしてHuber MRF(Markov Random (c)ステージ3 Field)を利用して再構成画像を求める。詳細なアルゴリ 図1 ズムについては，文献2),4)を参照されたい。 ３ ３．１ HBMによるDMEの超解像における効果 HongらのHBMに基づくDME Hongらが提案するHBMを用いたDME3) は，動き推定 を行うブロックサイズを段階的に分割，小型化する。そ の概要を図1に示す。 (1)ステージ1 Hongらによる階層的な動き推定によるDME の 3 本の動きベクトルのうち，注目画素PCを中心とす る 5×5 ブロックの最小誤差を与えるベクトルv(5×5)を初 期ベクトルviniとする。さらに，vini周辺の微小領域Rを全 探索して最小誤差を与えるベクトルvmin が見つかれば， これをPCの動きベクトルとして採用する。ただし，探索 範囲Rのサイズは第 2 ステージよりもさらに狭く設定す る。 このDMEは，ブロックの小型化に伴い保有するテクス ステージ1では，最も大きなサイズのブロックに動き チャー情報が減少しても，探索範囲が親ブロックの動き ベクトルを与える。はじめに，観測画像を重複のない16 ベクトルの近傍に限定されるため，高精度な動き推定が ×16もしくは8×8画素のブロックに分割する。ここで， 可能という仮定に基づいている。 Hongらは，このよう 図1(a)におけるBCが注目ブロックである場合，動き推定 なHBM動き推定により最終的に画素単位のDMEを実現 が完了しているブロックB0 ∼B3 の動きベクトルv0 ∼v3 を し，超解像に適用した3)。 順次BCに代入し，最小誤差を与えるベクトルをBCの初期 ３．２ HongらのDMEによる超解像実験 ベクトルviniとする。さらにその周辺の微小領域Rを全探 動き推定を行う画像の品質の変化が，HongらのDME 索し，絶対誤差の和SAD(Sum of Absolute Difference)の最 を用いた超解像3)の性能に及ぼす影響について検証する。 小値を実現するベクトルvmin が見つかれば，これをBC に ここでは，予め解像度が2倍に補間されたフレーム画像 対する動きベクトルとして採用する。 を用いて動き推定を行い，HBMのどの階層においても (2)ステージ2 ステージ 2 では，ステージ 1 で動きベクトルを求めた ブロック(親ブロック)を，縦横半分の 4 つのサブブロッ クに分割し，それぞれに対する動きベクトルを求める。 ここでは，図 1(b)を用いてBCの動きベクトルを求める過 程を示す。太枠で囲まれた領域はBCの親ブロックBPを示 し，B0∼B3は隣接するサブブロックである。これらのブ ロックは既に動きベクトルv0∼v3が求まっている。BCの 初期ベクトルの候補は，4 つのサブブロックの動きベク トルの中でBC に代入して最小誤差を与えるベクトルvsub と，親ブロックの動きベクトルvPの 2 本である。このと き，vPをBCに代入したときの誤差と，サブブロックの最 小誤差との差がある閾値以下であればvPを，そうでなけ ればvsubを初期ベクトルviniとする。その後vini周辺の微小 領域Rを全探索する処理は，ステージ 1 と同様に行う。 ステージ 2 は，ブロックサイズが 4×4 画素になるまで 繰り返される。 (3)ステージ3 ステージ 3 では，画素ごとに動きベクトルを与える。 図 1(c)に示すように，基本的には注目画素PCを中心とす る 5×5 画素のブロックマッチングを行う。ここで，既 に画素単位の動き推定が終了している画素P1とP2に対す る動きベクトルv1とv2，第 2 ステージでPCを含む 4×4 ブ ロックB(4×4)に対して見出した動きベクトルv(4×4) 半画素精度の動き推定を実現する。ブロックサイズは， B 初期サイズを16×16画素に設定し，階層が進む度に16× 16，8×8，4×4 ，2×2画素に半減し，最終的に1×1画 素レベルでのブロックマッチングによるDMEを実現する。 得られた動き情報を元に，Schultzらの報告2) で用いられ ているベイズMAP推定により再構成画像を求める。ベン チマーク画像には，Mobile CalendarとDrivingの第10フレ ームを中心とする前後3フレームを用いた。まず，352× 288画素(Mobile Calendar)と352×240画素(Driving)の原画 像に4画素平均を1画素とする劣化処理を行い，縦横半分 の低解像度画像を得る。この画像をBiCubic法によって 元のサイズに補間した画像GBCと，原画像Gを用いて Gi=wi×G+(1-wi)×GBC (i=0,1,…,10) (5) により11種類の中間画像を生成する。但し，wiは重みパ ラメータでw0=0.0，w1=0.1，…，w10=1.0と0.1刻みに設定 した。G0=GBC，G10=Gであり，添え字番号が大きい画像 ほど原画像に近い高品質な画像といえる。これらの画像 を用いてDMEを行い，第10フレームを超解像して再構成 された画像のPSNRを測定した結果を図2に示す。これら を見ると，動き補償を行う画像が原画像に近い場合に限 り(G6以上 for Mobile Clandar，G5以上 for Driving)，ブロ - I 31 - 30 Mobile Calendar 10th Frame G10(G) G9 G8 G7 PSNR[dB] 28 (a) Basic block (b) Shifted block vA 26 G6 G5 G4 G3 24 0 2 4 6 8 10 Block Size vB G2 G1 G0(Gbc) 12 14 Virtual block B(vir) BA BB 16 (c) Virtual block (basic + shifted block) 図 3 基本ブロック，シフトブロックとそれらのオーバ ーラップによる仮想ブロック (a) Mobile Calendar Driving 10th Frame PSNR[dB] 33 G10(G) G9 G8 G7 32 G6 G5 G4 G3 G2 G1 G0(GBC) 31 vA vA vB B’A vB B’B BA BA BB 30 BB (a) Reference frame 図4 29 0 2 4 6 8 Block Size 10 12 14 16 でOBMを超解像に利用する目的は，限られた参照フレ (b) Driving 図2 (b) Target frame 参照ブロック数の増加 異なる画像品質に対し，HBM を用いた DME によ る超解像を適用した効果 ームからより多くのサンプルデータを得ることによって， 動きベクトルがブロックの平均値としての精度しか持ち 得ない従来法の弱点を補うところにある。従って，DME ックサイズの小型化に伴うDMEの超解像への効果が認め られる。これは，分割ブロックと探索フレーム双方に超 解像に寄与する情報が含まれ，DMEが効果的に機能した た め と 思 わ れ る 。 一 方 ， Mobile Calendar の G3 以 下 ， DrivingのG1 以下の低品質な画像ではDMEによる超解像 への貢献は認められない。このような画像に対しては， HBMによってブロックサイズを小型化しても，超解像 に資する正確な動き情報は失われ，再構成画像の品質は を実現するためのOBMの利用方法は，ブロック歪み低 減のために用いる方法とは本質的に異なる。 提案法の基本概念を，2 つのブロックがオーバーラッ プしている場合を例に説明する。図 3(a)に示すようにフ レームを通常のブロック分割する場合(得られたブロッ クを基本ブロックと呼ぶ)とは別に，図 3(b)に示すように 同じフレームのオフセット座標を半ブロック分シフトし て分割をする場合(得られたブロックをシフトブロック と呼ぶ)を考える。このとき，図 3(c)に示すように基本ブ ロックBAとシフトブロックBBは，ハッチングで示すオー バーラップ部分を共有するが各ブロック全体の情報は異 なるため，それぞれに付与される動きベクトルvAとvBが 一致しないことが起こる。vAとvBともにブロックマッチ ングの予測誤差を最小にする動きベクトルであるが，オ ーバーラップ部分においてどちらのベクトルが超解像に 寄与するかを判断することは難しい。そこで本論文で は，オーバーラップ部分(仮想ブロックと呼ぶ)に対して どちらか一方の動きベクトルを選択するのではなく，ど ちらの動きベクトルも採用し，両者を活用することを試 みる。 基本ブロックとシフトブロックがオーバーラップする B さらに低下してしまうことがわかる。 B B ４ OBMによる仮想的なDMEの提案 B 3章の検討により，HBMによるDMEは比較的高品質な 劣化画像に対する超解像においてのみ効果が認められる ことが示された。とくに，超解像の対象として重要性の 高い低品質な劣化画像に対してほとんど効果が認められ ないことは，この方法の大きな問題点である。そこで， 本研究ではオーバーラップブロックマッチング(OBM)を 用いて仮想的なDMEを実現し，それを超解像に適用する 方法を提案する。 OBMは，ブロック単位で処理を行うタイプの画像符 号化において生ずるブロック歪みを低減する目的で使用 される。この場合，ブロックの境界部分がわずかに重な り合うようにブロックを配置する。これに対し，本研究 仮想ブロックにおいて，図3の例で示したように異なる 動きベクトルが得られれば，あたかも参照フレーム数が 増加したような効果をもたらす。このことを2つのブロ ックが重複する図4を用いて説明する。この例では，図 4(a)に示すように参照フレーム上の仮想ブロックを共有 する2つのブロックBAとBBの動きベクトルvAとvBが異なり B - I 32 - B 27 Mobile Calendar 10th Frame PSNR(dB) 26 25 24 (b) N=4, m×m = 1×1 (a) N=2, m×m = 2×2 23 図5 OBM(dependent) OBM(independent) HBM 異なるシフトブロックのオーバーラップによる仮 0 2 想ブロックサイズと付与される動きベクトル 4 6 8 10 12 Size of virtual block (m) 14 16 (a) Mobile Calendar 31 Driving 10th Frame (vA≠vB)，それらの示す先が図4(b)に示すように拡大対象 B フレーム上のブロックB'A とB'B であるとする。このとき， B PSNR(dB) B'A とB'B 内のハッチングした領域は，それぞれ異なる領 B 域であるにもかかわらず，同じ仮想ブロックを参照して いる。換言すれば，参照フレーム上の同一情報を拡大対 30 象フレーム上に2回(異なる領域に1回づつ)提供している。 従って，vA≠vBとなる仮想ブロックは，2回情報提供を行 OBM(dependent) OBM(independent) HBM B 29 うという意味で2個の参照ブロックとカウントできる。1 枚の参照フレーム内の全仮想ブロック(nvir個)のうちvA≠ 0 vBとなる仮想ブロックがndif個存在すれば，フレーム全体 B では見かけ上n+vir=nvir+ndif個の参照ブロックが存在すると 2 4 6 8 10 12 Size of virtual block (m) 14 16 (b) Driving 図6 解釈できる。これを全仮想ブロック数nvirで割った 提案法と従来法による再構成画像のPSNRの比較 + =n+vir / nvir (6) F を見かけ上の参照フレーム数と定義すると，n+vir>nvir で あればF+>1 となり，実質的に参照フレーム数が増加す ることと等価になる。この見かけ上の参照フレーム数の 増加に伴い，超解像の性能も向上する。一方，仮想ブロ ックのサイズに注目すると，図 2(c)の例では基本ブロッ クおよびシフトブロックのサイズの縦横半分の大きさと なる。従って，OBMによってブロックサイズを仮想的 に 1/4 に縮小したことと等しくなる。このようなOBMに よる (1)見かけ上の参照フレーム数の増加 (2)見かけ上のブロックサイズ縮小の効果 は，異なるオフセット座標を用いたシフトブロック数を さらに増やして重複ブロック数を増加させることで促進 できる。分割ブロックサイズがd×d=4×4画素のOBMの 例を示す。図5(a)のように重複ブロック数がN=2の場合， 仮想ブロックサイズはm×m=2×2画素で，Nに応じた2本 の動きベクトルを与えることができる。一方，図5(b)の 重複ブロック数がN=4の場合，仮想ブロックサイズはm ×m=1×1画素，与えられる動きベクトルは4本となる。 このとき，OBMによって仮想的に画素単位のDMEを実 現したと言える。オフセット座標を変化させた重複ブロ ック数の増加によって，一層小型化された仮想ブロック に多くの動きベクトルが与えられ，あたかもDMEが行わ れたかのように，画素単位に安定した動き推定を実現で きる。 ５ ５．１ OBMによるDMEを用いた超解像の性能検証 仮想ブロックサイズとPSNR 4章で提案したOBMによる仮想的なDMEを用いた超解 像の性能検証を行い，3章で示したHBMによるDMEを用 いた超解像との比較を行う。ベンチマーク画像には，3 章の実験と同様にMobile CalendarとDrivingの第10フレー ムを中心とする7フレームを用いた。動き推定は，観測 画像をBiCubic法で拡大した画像上で行った(これは，3章 の実験で用いた最も低品質なG0 画像に相当する)。動き 推定に用いるブロックサイズは両画像ともに，16×16画 素である。OBMによるDMEを用いる提案法と，HBMに よるDMEを用いる方法(従来法とする)によって再構成さ れた拡大画像のPSNRを図6に示す。提案法(OBM)の場合， グラフの横軸のブロックサイズは，右側から重複ブロッ ク数をN=1→2→4→8→16と増加したときの仮想ブロック サイズ(一辺の長さm)を示す。ここで，N=1は基本ブロッ クのみ(シフトブロックなし)を意味している。一方，従 来法(HBM)の場合は，横軸はHBMによる動き推定を行っ た最終ブロックのサイズを表す。基本ブロックの重なり によって生じる仮想ブロックサイズを意味したOBMと は異なり，HBMでは実際にこのブロックサイズで動き 推定を行っている点に注意が必要である。縦軸は，提案 法と従来法ともに，再構成画像のPSNRを表す。OBMに 利用する動き推定としていくつかの方法が考えられるが， - I 33 - 本研究では次の二つを試みた。一つは，各ブロックに対 して独立にブロックマッチングを行う 独立型 動き推 定であり，もう一つは，HBMと同様に近隣ブロックの 動きベクトルを参照する 従属型 動き推定である。 HBMとOBMを比較した図6より，以下の点がわかる。は じめに，HBMについて言及する。この動き推定を用い た従来法による再構成画像のPSNRは，観測画像の品質 に依存しており，常に改善されるわけではない。観測画 像をBiCubic拡大した画像(動き推定に用いる画像)の品質 が22.62[dB]と低いMobile Calendarでは，HBMにおける動 き推定の最終ブロックサイズが小さくなるにつれ，再構 (a-1) Mobile Calendar N=1 (25.77[dB]) 成画像のPSNRは徐々に低下している。これは，動き推 定に用いるBiCubic拡大画像の品質が，16×16画素未満 のブロックサイズには不十分なためである。これに対し Drivingは，同様の画像品質が28.02[dB]と高いため，8×8 画素と4×4画素の最終ブロックサイズで，再構成画像の PSNRは向上している。しかし，それ以上のブロックサ イズの小型化に対しては，画像品質が十分ではなくなり PSNRは低下する。一方のOBMでは，重複ブロック数を 増加させて仮想ブロックサイズを順次半減させることに 伴い，Mobile Calendar，Driving両画像ともに安定して再 構成画像のPSNRが向上している。また，Mobile Calendar に対し 従属型 動き推定が 独立型 動き推定よりも わずかに高い性能を示すが，Drivingでは 推定が 従属型 (a-2) Mobile Calendar N=16 (26.86[dB]) 独立型 動き 動き推定よりも明らかに高い性能を示 す。以降の実験では，それぞれの画像に対し，高い性能 を示す動き推定方法を採用した。以上をまとめると， OBMを用いた提案法は，観測画像の品質に寄らず頑健 な画質改善効果が認められる。これは，実用上大きな利 点といえる。 ５．２ 再構成画像 実験に用いたMobile CalendarとDrivingについて，基本 ブロックのみのブロックマッチング(N=1)，仮想ブロッ (b-1) Driving N=1 (29.76[dB]) クサイズ1×1のOBM(重複ブロック数N=16)により得られ た再構成画像の一部を拡大したものをそれぞれ図7-(a)， 図7-(b)に示す。(a)のMobile Calendarでは基本ブロックの みの場合に，劣化画像の名残である2×2画素のかたまり が多く認められるのに対し，仮想ブロックサイズ1×1の OBMでは，それらが1画素単位に分解されている部分が 増え，大幅に再現性が向上している。またDrivingでは， タイヤのエッジがシャープになるとともに，N=1で観察 されたタイヤ下部のノイズが，N=16では大幅に低減され ている。 ５．３ 他フレームへの適用 (b-2) Driving N=16 (30.75[dB]) これまでの検証では，Mobile Calendar，Drivingともに 図7 再構成画像の例 それぞれの第10フレームを対象に超解像を行ったが，こ こでは提案法が両ベンチマーク画像の他のフレームに対 上の5本の線が超解像による再構成画像のPSNRを，一番 しても有効であるかを検証する。それぞれの画像の第3 下の二点鎖線が超解像の初期画像として使用した から第100までの連続する98フレームに対して超解像を BiCubic法による拡大画像のPSNRをそれぞれ表す。図8 行った結果を図8に示す。(a)と(b)ともに，図中における より，すべてのフレームに対してOBMによるDMEを超 - I 34 - 大きく変動しており，その傾向はBiCubic法による拡大 27 Mobile Calendar 画像のものと連動している。すなわち，初期画像の品質 が高いものに対しては超解像による再構成画像の品質も PSNR[dB] 26 高く，初期画像の品質が低いものに対しては超解像によ る再構成画像の品質も低い。しかしOBMの効果は，初 25 期画像の品質に強く依存することなく(N=16とN=1の比 N=16 N=8 N=4 N=2 N=1 Bicubic 24 23 0 20 40 60 Frame No. 80 較で，平均+0.851[dB]，分散0.033)，安定に動作すること が図8(b)から見てとれる。 ６ む す び 本論文では，動画像系列を対象とする超解像において， 100 まずHBMに基づくDMEは動き推定を行う観測画像の品 質が比較的高い場合には効果的だが，低品質の画像に対 (a) Mobile Calendar しては効果が少ないことを示した。次に，この問題を解 Driving 31 N=16 N=8 N=4 決するために，OBMを用いて仮想的にDMEを実現し， N=2 N=1 Bicubic これを超解像に適用する方法を提案した。2種類の性質 の異なるベンチマーク画像を用いた実験により，HBM PSNR[dB] 30 によるDMEでは効果の得られなかった低品質な画像に対 29 してもOBMを用いる提案法は頑健に有効性を示し，と くに超解像の必要性の高い低品質画像における効果が大 28 きいことを検証した。 ところで，OBMを用いてDMEを実現するにあたり， 27 シフトブロックを1つ増加することは参照フレームを1枚 26 0 20 40 60 Frame No. 80 100 る。とくに，計算コストの大部分を占める最適化に要す る処理の軽減は，大変重要な課題である。 (b) Driving 図8 追加することに等しく，計算コストが増加する問題があ 連続フレームの再構成画像のPSNR 参 考 文 献 解像に用いる効果が確認でき，提案法は性質の異なる 1) S.C. Park, M.K. Park and M.G. Kang, “Super-resolution 様々なフレームに対しても再構成画像の品質改善に寄与 image reconstruction: A technical overview,” IEEE することがわかる。 Signal Processing Magazine, vol.20, pp.21-36 (2003) Mobile Calendarのシーケンスでは，BiCubic法と基本ブ 2) ロックのみのブロックマッチング(N=1)による超解像を 比較した場合，全フレームの平均として+2.758[dB]の PSNRの向上を観測できるが，Drivingの同じ比較では平 R.R. Schultz and R.L. Stevenson, “Extraction of highresolution frames from video sequences,” IEEE Trans. 3) Image Processing, vol.5, pp.996-1011 (1996) L.Hong, R.Sannino and J.Kari, “A multi-stage block 均+1.285[dB]の向上に止まる。これは，Mobile Calendar matching motion estimation for superresolution video のシーケンスの方が，超解像に資するより有益な情報を reconstruction,” Proc. SPIE, vol.4671, pp.1052-1060 保有しているためと考えられる。一方OBMの効果のみ (2002) に着目すると，N=16とN=1の比較で，Mobile Calendarの 4) 武久泰夫，田中清， オーバーラップブロック動き 全フレームの平均+0.779[dB]に対し，Drivingの全フレー 補償による超解像の性能改善に関する検討, ムの平均+0.851[dB]と後者の方が高い値となる。また， 県工技センター研報, No.1, pI5-pI10(2006) Drivingの再構成画像のPSNRは，フレーム変化に対して - I 35 - 長野
© Copyright 2026 Paperzz
