特別研究報告書 露光分割と 画素追跡によ る 動き ぶれのない画像撮影 指導教員 美濃 導彦 教授 京都大学工学部情報学科 薗頭 元春 平成 25 年 2 月 1 日 i 露光分割と 画素追跡によ る 動き ぶれのない画像撮影 薗頭 元春 内容梗概 画像撮影に おいて 露光時間に カ メ ラ や被写体が動く と ， カ メ ラ のセ ン サ上で 光の収束点が変動し て 動き ぶれが発生する ． 露光時間を 短く する と 動き ぶれは 小さ く な る が， セ ン サで感知さ れる 光の量の揺ら ぎ に 起因する ショッ ト ノ イ ズ が増大する ． 本研究の目標はショッ ト ノ イ ズを 増やすこ と な く 動き ぶれを 抑え て 画像を 撮影する こ と であ る ． レ ン ズやセ ン サの移動に よ る 光学的手ぶれ補正 は多く のカ メ ラ に 搭載さ れて いる が， こ れは特殊な 光学系ハード ウ ェ ア を 必要 と する ． ま た 光学的手ぶれ補正は被写体の動き に 対処でき な いた め， 手持ち カ メ ラ で歩行者を 撮影する 場合な ど に は有効でな い． 本研究では露光分割に よ る 動き ぶれのな い画像撮影のた めの手法を 提案する ． こ の手法では露光時間を 分 割し て 連続撮影し た 複数の短露光画像を ， 画素追跡に よ っ て 位置合わせし つつ 統合する ． 位置合わせを 伴う 統合はソ フ ト ウ ェ ア で行う た め， 光学系に 特殊な ハード ウ ェ ア を 加え る 必要はな く ， 連続撮影機能のあ る 従来のカ メ ラ を 用いる こ と ができ る ． ま た 画素単位の位置合わせに よ り ， カ メ ラ の手ぶれと 被写体の 動き に 同時に 対処でき る ． 特殊な ハード ウ ェ ア を 必要と し な い従来手法と し て は， 動き ぶれのあ る 画像 を 復元する 逆畳み込みがあ る ． こ れは空間的に 一様な 動き を 仮定する た め， 背 景から 独立に 動く 被写体の動き に は対処でき な い． 提案手法と 同じ く 露光分割 に 基づく 手法も いく つか提案さ れて いる ． こ れら はいずれも 位置合わせに おい て 空間的あ る いは時間的に 一様な 動き を 仮定し て おり ， 手ぶれに 伴う 画像平面 上の回転な ど の動き に は対処し き れな い． ま た こ れら の研究では露光分割の原 理を 理論的に 明ら かに し て いな い． 複数の画像を 統合する こ と に よ る 手ぶれ補 正機能のあ る 民生用カ メ ラ も 存在する が， そ の詳細は公開さ れて いな い． 露光分割の原理は露光短縮と 画像統合に よ っ て そ れぞれ動き ぶれと ショッ ト ノ イ ズを 抑え る こ と に あ る ． 露光時間を 短縮し て 撮影し た 画像に は動き ぶれが 少な いが， ショッ ト ノ イ ズが大き い． し かし そ の確率的性質に よ り ， 同じ シ ー ン の画像を 複数枚統合すればショッ ト ノ イ ズは抑え ら れる ． ま た 画像を 正確に 位置合わせし て 統合すれば， シーン 中の各点から の光を 画像平面上の一点に 反 映する こ と ができ る た め， 動き ぶれは生じ な い． 従っ て 短露光画像を 位置合わ ii せし つつ統合する こ と で， 動き ぶれと ショッ ト ノ イ ズの両者を 抑え た 画像を 得 る こ と ができ る ． 提案手法に おいて はま ず， あ る 総露光時間を いく つかに 分割し て 複数の短露 光画像を 連続撮影する ． 分割数はカ メ ラ のノ イ ズ耐性と シーン の明る さ に 応じ て でき る だけ 大き く する ． 次に 撮影し た 画像の間で画素の軌跡を 推定する ． こ こ では最先端の画素追跡手法の一つであ り ， オク ルージョ ン を 検出し て 追跡を 止める こ と ができ る LDOF ト ラ ッ カ (large displacement optical flow tracker) を 用いる ． そ し て 推定し た 軌跡を 使っ て 撮影さ れた 画像を 位置合わせし ， そ れ ら を 統合し て 一枚の画像を 得る ． こ こ では追跡に よ っ て 対応付け ら れた 一連の 画素の輝度値を 総和し て ， 統合後の画素値と する ． オク ルージョ ン に よ っ て 全 画像から は値を 得ら れな かっ た 画素の値は相対的に 小さ く な る ので， ス ケ ーリ ン グする こ と に よ っ て 補正を 行う ． 提案手法の有効性を 示すた め， 露光分割を 行わな い総露光時間での撮影， 総 露光時間を 短縮し て 行う 撮影， ブラ イ ン ド 逆畳み込み (blind deconvolution) 手 法， およ び提案手法を 比較する 実験を 行っ た ． ま ず各手法の結果を 定性的な 見 た 目と 定量的な ピ ーク 信号対雑音比に ついて 比較する た め， 統制さ れた シーン に おいて 実験を 行っ た ． さ ら に 実際の撮影を 想定し た シーン に おいて も 実験を 行い， 結果を 比較し た ． 両実験に おいて 提案手法では他手法よ り も 優れた 結果 が得ら れ， そ の有効性が示さ れた ． た だし 提案手法では画素追跡に かな り の計 算時間が掛かる こ と が分かっ た ． 今後の課題は提案手法の画素追跡に お け る 計算時間を 短縮する こ と であ る ． そ れに は LDOF ト ラ ッ カ よ り も 効率的な 画素追跡のア ルゴリ ズム を 開発する 必 要があ る ． iii Motion-Blur-Free Image Capturing by Exposure Splitting and Pixel Tracking Motoharu SONOGASHIRA Abstract The motion of a camera or an object in a scene causes motion blur, due to the shift of light convergence on the sensor of the camera during an exposure time. By shortening the exposure time, we can decrease the motion blur but also increase shot noise, due to the fluctuation of light amount detected by the sensor. Our goal is to capture an image without the motion blur and the increased shot noise. Optical stabilization by lens or sensor shift is adopted by many cameras, though this approach requires special optical hardware. In addition, since this approach cannot deal with the motions of the objects in a scene, it is not effective in, for example, capturing an image of a walker with a hand-held camera. We propose a method of motion-blur-free capturing by exposure splitting. In this method, we capture the sequence of short-exposure images by splitting an exposure time, and then integrate the images with image registration by pixel tracking. Since the integration with the registration relies only on software, the method require no special optical hardware, and is applicable to conventional cameras that have multi-shot functions. Moreover, the pixel-wise registration enables the method to deal with camera shake and object motion simultaneously. As a previous approach that requires no special hardware, deconvolution restores a blurred image. This approach assumes a spatially homogeneous motion and fails if an object moves independently from its background. A few methods of image capturing by the exposure splitting have been proposed. They assume spatially or temporally homogeneous motions and can not fully deal with camera shake involving in-plane rotation. In addition, the studies of these methods have not theoretically presented the principle of the exposure splitting. There are some consumer cameras with stabilization functions by integrating multiple images. However, their details are not published. The exposure splitting is based on exposure shortening and image integration. An image captured in a short exposure time contains little motion blur and iv much shot noise. Owing to the probabilistic property of the shot noise, we can reduce the shot noise by integrating multiple images of the same scene. Meanwhile, by registering the images accurately, we can integrate the images without producing any more motion blur. Therefore, we can suppress both motion blur and shot noise by registering and integrating short-exposure images. In the proposed method, we split a total exposure time and capture the sequence of short-exposure images. The number of the splits should be possibly large, depending on the noise immunity of a camera and the brightness of a scene. Then, we perform the pixel tracking in the sequence. We utilize the large displacement optical flow tracker, which is one of the state-of-the-art methods of the pixel tracking, and is able to detect occlusions. Finally, we integrate the images in the sequence into a single image. For each pixel, we calculate its resulting value as the sum of the intensity values from where the tracker locates the pixel. If the pixel is occluded in some images, we scale the value of the pixel, as the sum is relatively small. We conducted experiments to demonstrate the effectiveness of the proposed method. We compared images resulting from four methods of capturing: capturing in an exposure time without splitting, capturing in an shorter exposure time, a blind deconvolution method, and the proposed method. First, we captured images of a controlled scene, and qualitatively and quantitatively compared them, in terms of appearance and peak-signal-to-noise ratio. Second, we captured images of a practical scene, and compared their appearance. The proposed method produced better results than did the other methods in both of the experiments. However, we found that the pixel tracking in the proposed method is computationally heavy. A remaining task is to improve the computational efficiency of the pixel tracking. We need to develop a more efficient algorithm of the pixel tracking than the LDOF tracker. 露光分割と 画素追跡によ る 動き ぶれのない画像撮影 目次 第1章 緒論 1 第2章 関連研究 2 第3章 露光分割の原理 4 3.1 露光短縮 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3.2 画像統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 第4章 動き ぶれのない画像撮影手法 7 4.1 露光分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4.2 画素追跡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4.3 画像統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 第5章 5.1 5.2 5.3 第6章 実験 10 単一の動き に 対する 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 5.1.1 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 5.1.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 複数の動き に 対する 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2.1 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 実際の撮影を 想定し た 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.3.1 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.3.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 結論 24 謝辞 25 参考文献 25 付録 第1章 緒論 画像撮影に おいて は露光時間に カ メ ラ や被写体が動く と ， カ メ ラ のセ ン サ上 で光の収束点が変動する こ と に よ っ て ， 撮影さ れた画像に 動き ぶれが発生する ． 露光時間を 短く する と 動き ぶれを 抑え る こ と ができ る が， セ ン サで感知さ れる 光の量の揺ら ぎ の影響が大き く な る こ と に よ っ て ， シ ョッ ト ノ イ ズが増大する ． 動き ぶれと ショッ ト ノ イ ズのいずれも ， シ ーン を 詳細に 表現する 画像を 撮影す る 上では望ま し く な い． 本研究の目標はショッ ト ノ イ ズを 増やすこ と な く 動き ぶれを 抑え て 画像を 撮 影する こ と であ る ． 動き に よ り 撮影シーン は逐次変化する が， 本研究では撮影 を 開始し た 瞬間のシーン の画像を 得る こ と を 目指す． こ れは一般的に カ メ ラ の 使用者はシャッ タ ーを 切っ た 瞬間のシ ーン の画像を 撮影する こ と を 意図し て い る と 考え ら れる から であ る ． 動き ぶれの問題に 対する 従来手法と し て ， レ ン ズやセ ン サの移動に よ る 光学 的手ぶれ補正が多く のカ メ ラ に 搭載さ れて いる [1]． こ の手法に おいて はカ メ ラ の手ぶれを ジャ イ ロ ス コ ープで検出し ， レ ン ズやセ ン サを 動かし て 手ぶれを 補 正する ． し かし カ メ ラ の光学系に 特殊な ハード ウ ェ ア が必要と な る た め， こ の 手法を 採用し て いる カ メ ラ に は追加のコ ス ト が掛かっ て いる ． ま た こ の手法で はカ メ ラ の動き し か検出する こ と ができ ず， 被写体の動き に 対処でき な い． 本研究では， あ る 総露光時間を いく つかの短い露光時間に 分割し て 撮影し た 複数の画像を 位置合わせし つつ統合する ， 露光分割に よ る 撮影の手法を 提案す る ． 複数の短露光画像を 位置合わせし つつ統合する こ と で， 動き ぶれと ショッ ト ノ イ ズの両者を 抑え た 画像を 得る こ と ができ る のであ る ． 以下ではこ のよ う な 撮影の手法を 露光分割撮影と 呼び， 露光時間を 分割せずに 総露光時間で一度 に 行う 撮影は総露光撮影と 呼んで区別する ． 総露光撮影と 露光分割撮影の比較 を 図 1 に 示す． 提案手法に お いて は， 位置合わせは画素追跡に よ っ て 行う ． 位 置合わせを 伴う 統合はソ フ ト ウ ェ ア で行う た め， 光学系に 特殊な ハード ウ ェ ア を 加え る 必要はな く ， 連続撮影機能のある 従来のカ メ ラ を 用いる こ と ができ る ． ま た 画素単位の位置合わせに よ り ， 提案手法はカ メ ラ の手ぶれと 被写体の動き が同時に 起こ る シーン に も 対処でき る ． 本研究の貢献は， 第一に は光学系に 特殊な ハード ウ ェ ア を 必要と せず， カ メ ラ の手ぶれと 被写体の動き に 同時に 対処でき る と いう 点で従来手法の問題を 解 1 図 1: 総露光撮影と 露光分割撮影の比較. 決する 手法を 提案し て いる こ と であ る ． 第二に はショッ ト ノ イ ズに ついて の理 論的な 議論に 基づいて 露光分割の原理を 明ら かに し て いる こ と であ る ． 第三に は提案手法の有効性を 定性的およ び定量的に 評価し ， 他手法に 対する 優位性を 明ら かに し て いる こ と であ る ． 本報告書の構成と し て は， ま ず第 2 章で動き ぶれ問題に 対する 関連研究を 紹 介し ， そ れら の問題を 明ら かに する ． 次に 第 3 章で提案手法の基礎と な る 露光 分割の原理を 明ら かに する ． そ の原理を 踏ま え て ， 第 4 章で提案手法に よ る 撮 影の具体的な 手続き を 述べる ． そ し て 第 5 章で提案手法の定性的およ び定量的 な 評価実験の結果を 示す． 最後に 第 6 章で結論と 今後の課題を 述べる ． 第2章 関連研究 逆畳み込みは特殊な ハード ウ ェ ア を 必要と せずに 動き ぶれのあ る 画像を 復元 する こ と ができ る 従来手法である [2]． こ の手法に おいて は動き に 対応する ぶれ 関数を 画像に 逆畳み込みする こ と で動き ぶれを 除去する ． 動き が未知の場合は， ぶれ関数を 最大事後確率 (maximum a posteriori) 推定に よ っ て 推定する ， ブラ イ ン ド 逆畳み込みが適用さ れる ． 殆ど のブラ イ ン ド 逆畳み込み手法に おいて は シフ ト 不変な 動き ， すな わち 画像全体で単一のぶれ関数が仮定さ れる [3]． こ の 仮定に よ り ， ブラ イ ン ド 逆畳み込みでは背景から 独立に 動く 被写体の動き に は 対処でき な い． 提案手法では画素追跡に よ り ， 被写体と 背景のそ れぞれに つい 2 て 動き を 推定し て 位置合わせする ので， こ のよ う な 動き に も 対処でき る ． 提案手法と 同じ く 露光分割に よ る 撮影の手法がいく つか提案さ れて いる ． こ れら の手法に おいて は， 露光時間を 均等に 分割し て 複数の画像を 撮影し て ， そ れら を 位置合わせし な がら 統合する ． Wei ら [4] は画像全体で空間的に 一様かつ 小さ い動き を 仮定し ， 相関に 基づく 位置合わせを 採用し て いる ． こ の手法は全 被写体が同じ 小さ な 動き を し て いる 場合に し か有効でな い． Tico[1] は局所的に 一様な 動き を 仮定し ， ブロ ッ ク マ ッ チン グに 基づく 位置合わせを 採用し て おり ， ブロ ッ ク ごと に 異な る 動き に 対処でき る ． し かし 小さ な ブロ ッ ク 内でも 一様で な い， カ メ ラ の手ぶれに 伴う [3] 画像平面中での回転な ど の動き に は対処し き れ な い． 提案手法では画素単位の位置合わせを 導入する こ と で， こ れら の手法に おけ る 空間的に 一様な 動き の仮定に 起因する 問題を 克服する ． 均等でな い露光分割に よ る ， 時間的な 動き の一様性を 仮定し た手法も Choi ら [5] に よ っ て 提案さ れて いる ． こ の手法に おいて は総露光時間を １ つの短い露光 時間と ２ つの長い露光時間に 分割し て ３ 枚の画像を 撮影する ． そ し て そ れら の 画像に 対し て 画素単位の位置合わせを 行い， そ の結果に 基づいて そ れら の画像 を 統合する ． 位置合わせに おいて は各画素の動き が線形であ る こ と ， すな わち 画素の画像間での変位が時間的に 変化し な いこ と が仮定さ れる ． こ の仮定は変 位の向き が時間的に 変化する ， 回転な ど の動き が起こ る と 成り 立た な い． 提案 手法でも 画素単位の位置合わせを 導入する が， 隣接画像間で変位の線形性は仮 定し な いので， 時間的に 一様でな い動き に も 対処でき る ． ま た Choi ら の手法に おいて は短露光画像から の形状情報と ， 既に 動き ぶれの生じ た 長露光画像から の色情報を 組み合わせる ． そ のた め， 動き ぶれの影響を 受け て いな い輝度値と 動き ぶれに よ っ て 変化し て いる 輝度値を 足し 合わせる こ と に よ り ， 統合後の画 像の輝度値に は動き ぶれに よ る 変化が残る ． 結果と し て 得ら れる 画像は見た 目 に はぶれが少な いけ れど も ， 色情報に ついて は未だに ぶれの影響を 受け て いる ． 提案手法では短露光画像のみを 用いる こ と で， そ のよ う な ぶれの生じ た 画像の 影響を 回避する ． こ れら の露光分割に 関する 従来研究 [1, 4, 5] に お いて は， 単純に 露光時間を 短く し て 撮影する よ り も 露光分割に よ っ て 画質が向上する と いう 事実は実験的 に し か示さ れて おら ず， 露光分割の原理が理論的に 明ら かでな かっ た ． 本研究 ではショッ ト ノ イ ズに ついて の理論的な 議論を 行う こ と でこ の原理を 解明する ． 複数の画像を 統合する こ と に よ る 手ぶれ補正の機能が搭載さ れた 消費者向け 3 カ メ ラ が存在する [6]． こ の機能は露光分割と 同様の原理に 基づく と 考え ら れる が， そ の詳細や性能は公表さ れて いな い． 第3章 露光分割の原理 動き ぶれはシーン におけ る 撮影中の動き によ っ て 生じ る 一方， ショッ ト ノ イ ズ はカ メ ラ に よ っ て 感知さ れる 光子の数の確率的な 揺ら ぎ に よ っ て 生じ る ． 一般 に 露光時間を 短く する こ と で動き ぶれは抑え ら れる が， ショッ ト ノ イ ズが生じ る ． 一方で連続し て 撮影し た 画像を 統合する こ と でショッ ト ノ イ ズは抑え ら れ る が， 動き ぶれが生じ る ． 露光分割の原理は露光短縮と 画像統合を 組み合わせ る こ と で， 動き ぶれと ショッ ト ノ イ ズを 共に 抑え る こ と である ． 以下ではショッ ト ノ イ ズに ついて 定量的な 議論を 行いな がら ， こ の原理を 説明する ． こ こ では画質に ついて ， こ れら の動き と 揺ら ぎの影響だけ を 考え て 議論する ． 実際に は量子化や暗電流な ど の他の要因も 画質に 影響する が， 露光分割に 関す る 従来研究 [1, 4, 5] に お いて ， 動き や揺ら ぎ に 比べる と 他の要因の影響は小さ く 無視でき る こ と が示さ れて いる ． 3.1 露光短縮 露光時間に おいて シーン 中の一点から の光はカ メ ラ の画像平面上の一点に 収 束し 続け る こ と が期待さ れる ． こ の収束点がシーン 中の点やカ メ ラ の動き によ っ て ずれる と ， 撮影さ れる 画像に 動き ぶれが生じ る ． 露光時間を 短く する と 露光 時間に おけ る 収束点のずれが小さ く な る ので， 動き ぶれは減少する ． し かし 以 下で述べる よ う に ， 露光短縮に よ っ て ショッ ト ノ イ ズが増加する ． ショッ ト ノ イ ズのみを 考え る た め， 動き のな いシ ーン を 仮定し て ， 撮影さ れ る 画像中のあ る 一つの画素に 注目する ． そ し て 注目画素に お いて 露光時間 t の 撮影で得ら れる 輝度値を 確率変数 Xt と する ． こ れは注目画素で露光時間に 感知 さ れた 光子の数を 表し ， そ の確率的な 揺ら ぎ がショッ ト ノ イ ズであ る ． ショッ ト ノ イ ズを 測る ために ， 画質を 注目画素に おけ る 信号対雑音比 (signal- to-noise ratio, SNR) で定義する ． SNR [Xt ] = E [Xt ] SD [Xt ] (1) こ こ で E, SD はそ れぞれ期待値と 標準偏差を 表す． ショッ ト ノ イ ズが増え る と 標準偏差が大き く な り ， SNR は小さ く な る ． SNR の値が大き いほど 画質は良い 4 と する ． 撮影は一般的に ポア ソ ン 過程と し て モデル化さ れる [4]． e を 単位露光時間と し ， λ を Xe が従う ポア ソ ン 分布のパラ メ ータ と する ． こ の λ の値は単位時間に 画素が感知する 光子の数の期待値であ る ． する と Xt はパラ メ ータ tλ のポア ソ ン 分布に 従う ． ま ず露光時間 T の撮影を 考え る ． 注目画素の値 XT は次のポアソ ン 分布に従う ． XT ∼ Pois (T λ) (2) こ の値の期待値， 標準偏差， SNR はそ れぞれ次の通り であ る ． E [XT ] = T λ √ SD [XT ] = Tλ √ SNR [XT ] = (3) (4) Tλ (5) 次に T を T /n に 短縮し た撮影を 考え る ． こ こ で n は正整数である ． 注目画素 の値 XT /n は次のポア ソ ン 分布に 従う ． XT /n Tλ ∼ Pois n ! (6) こ の値の期待値， 標準偏差， SNR はそ れぞれ次の通り であ る ． h i h i E XT /n SD XT /n h SNR XT /n i Tλ n = = s Tλ n 従っ て 露光短縮に よ っ て 画質が低下する ． 5 (8) s Tλ n SNR (XT ) √ = n < SNR [XT ] = (7) (9) XT /n を ス ケ ーリ ン グ， すな わち n 倍する と ， XT /n の期待値を XT の期待値と 等し く する こ と ができ る ． h E nXT /n i h = nE XT /n = Tλ i (10) し かし ス ケ ーリ ン グに よ っ て 標準偏差も 変化する ． h SD nXT /n i h = nSD XT /n √ nT λ = i (11) そ の結果， SNR は次の通り ， ス ケ ーリ ン グ前の SNR と 等し く な る ． h SNR nXT /n i s Tλ n h i = SNR XT /n = (12) 従っ て ス ケ ーリ ン グでは画質は改善し な い． 3.2 画像統合 露光短縮で損な われた 画質を 回復する た めに ， 互いに 確率変数と し て 独立な n 個の XT /n を 統合する ． すな わち XT1 /n , . . . , XTn/n の総和を 取る ． こ のよ う な XT1 /n , . . . , XTn/n は， 互いに重複し ない長さ T /n の露光時間 n 回において 同じ シー ン を 撮影する こ と で得ら れる ． i = 1, . . . , n のそ れぞれに ついて ， XTi /n は次式 を 満た す． XTi /n T ∼ Pois λ n (13) XT1 /n , . . . , XTn/n は互いに 独立な ので， 付録の定理 1 よ り ， そ れら の総和は次式 を 満た す． n X XTi /n i=1 n X T ∼ Pois λ i=1 n ∼ Pois (T λ) ! (14) する と 総和の SNR は次の通り であ る ． SNR " n X i=1 XTi /n # 6 = SNR [XT ] (15) 従っ て 画像統合に よ っ て 露光短縮で損な われた 画質を 回復する こ と ができ る ． 動き のある シーン に おいて は， 露光時間 T /n の画像 n 枚を こ のよ う に 位置合 わせせずに 統合する と ， 露光時間 T で一度に 撮影さ れた 画像と 同様の動き ぶれ が生じ る ． こ れは統合に おいて シーン 中の異な る 複数の点を 反映する 輝度値が 足し 合わさ れる から であ る ． 動き ぶれを 抑え る に は統合中に 画像の位置合わせ を 行い， 各画素に おいて シーン 中のち ょ う ど 一点から 光を 受け た 画素同士の値 を 足し 合わせる よ う に すればよ い． こ こ ま での露光短縮と 画像統合に おいて ， 露光時間 T を n 個の露光時間に 分 割し た ． n が十分大き け れば， すな わち T /n が十分短け れば， 分割さ れた 露光 時間で撮影さ れる 各画像に は動き ぶれがな いと 仮定でき る ． する と ， 位置合わ せが正確であ る と 仮定すれば， 統合の結果得ら れる 画像に も 動き ぶれは生じ な い． 一方， 露光短縮に よ っ て 増大し た 各画像中のショッ ト ノ イ ズは画像統合に よ っ て 除去さ れる ． こ れが露光分割に よ っ て 動き ぶれと ショッ ト ノ イ ズの両方 を 抑え ら れる こ と の原理であ る ． 第4章 動き ぶれのない画像撮影手法 第 2 章で述べた 通り ， 露光分割撮影の従来手法では動き に 関する 空間的ま た は時間的な 一様性を 仮定する た め， 対処でき る 動き が限定さ れる ． 提案手法で はこ の問題を 克服する た め， 各画素を 追跡する こ と に よ る 画素単位の画像位置 合わせを 露光分割撮影に 導入する ． 提案手法に よ る 一枚の画像の撮影に おいて は， ま ず総露光時間を 設定し ， そ れを 等し く 分割し た 露光時間で撮影し た 複数枚の短露光画像を 統合する ． こ れ ら の短露光画像の内， 最初の一枚を 基準画像と 呼ぶ． こ れは提案手法で撮影す る こ と を 目指す， 撮影開始時の瞬間的な シーン を 反映する 画像であ る ． 提案手 法の手続き は次の通り であ る ． 1. 総露光時間を 分割し て 短露光画像を 撮影する ． 2. 基準画像中の各画素を 追跡し て そ の軌跡を 得る ． すな わち 基準画像中の各 画素を 他の短露光画像に 対し て 位置合わせする ． 3. 画素の軌跡を 基に 全て の短露光画像を 統合し て ， 結果と な る 1 枚の画像を 得る ． 7 4.1 露光分割 総露光時間は露光時間を 分割し な い従来の総露光撮影と 同様に 設定する ． こ れは理論上， 総露光時間が等し け れば総露光撮影と 露光分割撮影で同じ 明る さ の画像が得ら れる こ と が期待さ れる から であ る ． 露光時間の分割数は， 各画像中に 十分な 信号が保た れて いる と いう 条件の下 で， でき る だけ 大き い数に 設定する ． 大き い分割数が望ま し いのは， 動き ぶれ を 抑え る た めに は十分に 短い露光時間で各短露光画像を 撮影し な け ればな ら な いから であ る ． 実際のカ メ ラ での撮影に おいて は， 露光時間が短すぎ る と 撮影 さ れた 画像中の信号がカ メ ラ から のノ イ ズ（ 量子化の影響な ど ） に 埋も れて し ま う ので， 分割数を いく ら でも 大き く する こ と はでき な い． こ の分割数の設定 はカ メ ラ のノ イ ズ耐性やシーン の明る さ に 依存する ． 提案手法では従来手法 [5] と 異な り ， 各短露光画像中の動き ぶれを でき る だけ 小さ く する た め， 露光時間の分割は均等と する ． 理論上は総露光時間が一定な ら ば統合後の画像の画質も 一定であ る ので， 短 露光画像の撮影が連続し て いる 必要はな いが， 提案手法に おいて は撮影はでき る だけ 短い間隔で行う ． こ れは間隔が空く と ， 画像間での各画素の変位が大き く な り ， 画素追跡の手法に 依ら ず一般に 画素追跡は難し く な る [7] から であ る ． 実際のカ メ ラ に おいて は完全な 連続撮影はでき ず， 撮影間に セ ン サのリ セ ッ ト 時間があ る が， こ れは総露光時間に 比べて ごく 短い [4] ので無視する ． 4.2 画素追跡 提案手法の性能は画素追跡に よ る 位置合わせに 大き く 依存する ． こ れはそ の 後の画像統合に おいて ， 各画素が正し く 位置合わせさ れて いる こ と を 仮定し て いる から であ る ． 提案手法では最先端の画素追跡手法の一つであ る ， LDOF ト ラ ッ カ (large displacement optical flow tracker) [8] を 採用する ． LDOF[7] 自体 は変分法に よ る オプテ ィ カ ルフ ロ ー推定に 記述子マ ッ チン グを 導入し た 手法で ある ． こ の手法は記述子マッ チン グによ っ て 大き な 変位に対処でき る ので， 速い 動き に 有効であ る ． ま た 複数の画素から の情報を 集約する 記述子を 使っ て いる こ と で， 単一の画素から 局所的に 得ら れる 情報が少な い短露光画像に も 有効で ある と 考え ら れる ． LDOF ト ラ ッ カ はこ の LDOF を 使っ て 画素を 追跡する 手法 であ る ． 追跡は各画像間での各画素の変位を 推定し ， そ れら の変位を 繋ぎ 合わ 8 せる こ と で行われる ． こ の画素単位， 隣接画像単位の位置合わせによ っ て ， 提案 手法では空間的あ る いは時間的に 一様でな い動き に 対処でき る ． オク ルージョ ン に よ っ て 見え な く な っ た り ， 動き の境界上に あ っ て 正し く 追跡でき な く な っ た 画素に ついて は追跡がそ の時点で停止さ れる ． こ のオク ルージョ ン と 動き の 境界の検出に おいて は， 画像間で時間的に 前方から 後方およ び後方から 前方へ 推定し た変位を 用いて ， 2 方向の変位が閾値以上に異なっ て いる 場合はオク ルー ジョ ン と 判定し ， 変位が近傍での変位と 閾値以上に 異な っ て いる 場合は動き の 境界と 判定する ， 提案手法ではあ る 画素の追跡が停止さ れた 場合， そ れ以降の 画像はそ の画素に おけ る 統合に は用いな いこ と と する ． 提案手法では論文 [8] の著者が公開し て いる バイ ナリ お よ びソ ース コ ード を 利用する 1) ． 使用し たのは GPU に よ る 高速化が行われて いる コ ード である ． こ のコ ード は元々 全入力画像中の画素のう ち 一部を 選択し て 追跡する 設計と な っ て いる が， 提案手法に 用いる た め， 基準画像中の全て の画素を 追跡する よ う に コ ード を 修正し た ． パラ メ ータ に は既定値を 用いた ． 4.3 画像統合 各画素の軌跡上の輝度値を 総和する こ と に よ っ て 画像を 統合する ． すな わち ， 基準画像中の各画素に ついて ， 以降の各画像中に おけ る 追跡先の位置から 輝度 値を 取得し て ， そ れら の値を 足し 合わせた も のを 結果であ る 画像に おけ る そ の 画素の値と する ． た だし オク ルージョ ン や動き の境界に よ っ て 画素が追跡でき な く な っ た 場合， そ れ以降の画像ではそ の画素の位置を 特定でき な いので輝度 値を 得る こ と ができ な い． こ の場合， 総和は相対的に 小さ く な る ので， 総和を ス ケ ーリ ン グする こ と で得ら れな かっ た 値を 補う ． 以下， 統合に おけ る 計算方法を 述べる ． I1 , . . . , Im を m 枚の短露光画像と し ， I を 統合の結果と な る 画像と する ． ま た Ω ⊂ R2 を 画像平面， すな わち 画像上 の位置の集合と する ． I 中の各画素に 注目し ， そ の座標を x ∈ Ω と する ． 画素 追跡に よ り ， 各 Ii に おいて 注目画素の位置を 特定でき た かど う かが分かっ て い 1) http://www.eecs.berkeley.edu/~narayans/Software.html よ り ， 2012 年 12 月 1 日取 得． 9 る ． すな わち 次式で定義さ れる δi が分かっ て いる ． 1 （ δi ≡ Ii で注目画素の位置を 特定でき た 場合） (16) 0 （ そ う でな い場合） 注目画素の位置が特定さ れた 画像の数 n は次式に よ っ て 定義さ れる ． m X n ≡ δi . (17) i=1 ま た δi = 1 の場合， 注目画素の Ii に おけ る 位置 xi ∈ Ω も 分かっ て いる ． δi = 0 な ら ば xi は定義でき ず， 以下の計算では無視する こ と と する ． 提案手法に おい て は基準画像を I1 と 設定し た こ と に よ り ， 次が成り 立つ． δ1 = 1 (18) x1 = x (19) ま た画素追跡に 使用し た LDOF ト ラ ッ カ に おいて は一度オク ルージョ ン な ど で 追跡でき な く な っ た 画素はそ れ以降追跡さ れな いので， 次が成り 立つ． δi = 0 ⇒ ∀j > i, δj = 0 (20) 注目画素の I に おけ る 値は次の通り 計算する ． m mX I(x) = δi Ii (xi ) . n i=1 (21) こ こ で I (x) は I の x に おけ る 輝度値であ り ， 各 Ii ， 各 x に ついて も 同様であ る ． 実際に は各 Ii に は格子上の離散的な 画素の位置に おいて のみ値が存在する が， 画素追跡の結果と し て 得ら れる 各 xi は連続的な 位置である ので， Ii (xi ) を 求める た めに 提案手法では共一次補間を 用いる ． 第5章 実験 提案手法の有効性を 示すた め， 単一およ び複数の動き のあ る 統制さ れた シー ン に おけ る 実験と ， 実際の撮影を 想定し た シーン に おけ る 実験を 行っ た ． 各実 験では次の 4 つの撮影手法を 比較し た ． 10 総露光撮影 総露光時間で一度に 撮影する ． すな わち ， 総露光時間で撮影さ れた 画像を そ のま ま 結果と する ． 露光短縮撮影 総露光時間を 短縮し て 一度に 撮影し た 画像を ， 総露光時間に 合わせた 明る さ に ス ケ ーリ ン グする ． すな わち ， 短露光時間で撮影さ れた 画像の各画素 の値を (総露光時間/短露光時間) 倍する ． 逆畳み込み 逆畳み込みを 総露光時間で一度に撮影さ れた画像に適用する ． すな わち ， 総 露光時間で撮影さ れた 画像に ブラ イ ン ド 逆畳み込みを 掛け て 得ら れた 画像 を 結果と する ． 提案手法（ 露光分割撮影） 総露光時間を 分割し て 撮影さ れた短露光画像を 位置合わせし つつ統合する ． すな わち ， 短露光時間で撮影さ れた (総露光時間/短露光時間) 枚の画像を 提案手法で統合し て 得ら れた 画像を 結果と する ． 提案手法で扱っ て いる 動き ぶれと ショッ ト ノ イ ズ以外の， カ メ ラ に 由来する ノ イ ズも 考慮に 入れる た め， シミ ュ レ ーショ ン ではな く 実際のカ メ ラ を 用いて 実験を 行っ た ． 両実験に お いて は連続撮影がで き る カ メ ラ と し て Point Grey Dragonfly Express を 使用し た． こ のカ メ ラ を 実験に 用いたのは， 定量的評価に 必要な 露光時間の細かい制御を 行う 機能があ っ た から であ る ， 提案手法に よ る 実際の撮影に おいて は， こ のよ う な 機能がな く て も 連続撮影ができ る カ メ ラ な ら ば用いる こ と ができ る ． 使用し た カ メ ラ は単色カ メ ラ であ っ た ので， 本実験 で使用し た 全て の画像のカ ラ ーチャ ン ネ ル数は 1 であ っ た ． ま た 露光分割の原 理を 踏ま え て ， 各画素に おいて 量子化前の輝度値が感知さ れた光量（ 光子の数） に 比例する よ う に する た め， カ メ ラ のガン マ 補正の機能は無効に し た ． 逆畳み込みと し て は近年提案さ れたブラ イ ン ド 逆畳み込みの手法 [9] を 比較対 象に 選んだ． こ の手法の論文に おいて は他のブラ イ ン ド 逆畳み込みの手法よ り も こ の手法に よ っ て 良好な 結果を 得ら れた こ と が報告さ れて いる ． 実装と し て は論文 [9] の著者が公開し て いる バイ ナリ コ ード 1)を 使用し た ． 手法のパラ メ ー タ に ついて は， ぶれ関数の窓の幅およ び高さ は実験ごと に 設定し ， そ れ以外は 1) http://www.cse.cuhk.edu.hk/~leojia/programs/deblurring/deblurring.htm よ り ， 2012 年 12 月 1 日取得． 11 既定値と し た ． 5.1 5.1.1 単一の動き に対する 実験 方法 逆畳み込みで対処でき る 動き に 提案手法でも 対処でき る こ と を 示すた め， 単 一の動き のあ る 統制さ れた シーン に おいて 撮影し た 画像から 各手法に よ る 撮影 を 同時に 行い， 結果を 比較し て 定性的に 評価を 行っ た ． 評価に おいて は画像の 見た 目を 比較し た ． 画像の撮影に は 2 台のカ メ ラ を 用いた ． こ れは総露光撮影と 逆畳み込みに は 総露光時間で撮影さ れた 画像が必要であ る が， 露光短縮撮影と 提案手法に は短 露光時間で撮影さ れた 画像が必要であ り ， そ れら を 同時に 撮影する 必要があ っ た から であ る ． 本実験では厳密な 定量的評価は行わな いた め， 左右のカ メ ラ の 視差な ど に よ る 条件の違いは無視し た ． 逆畳み込みで対処でき る こ と が期待さ れる シーン と し て ， カ メ ラ が垂直方向 に 動いて いる が， 被写体は全て 静止し て いる シーン を 設定し た ． こ こ で被写体 は人物な ど の静止が困難な も のではな く 人形と し た ． 撮影する 画像の大き さ は 100 × 100 画素， ビッ ト 深度は 16 ビッ ト と し た ． ま た 本実験での総露光時間は 1/20 秒， 提案手法に お け る 露光時間の分割数は 10 と し た こ と に よ り ， 各短露 光画像の露光時間は 1/200 秒であ っ た ． カ メ ラ のレ ン ズの絞り は総露光時間に おいて 十分な 明る さ の画像が撮影でき る よ う に 調節し た ． さ ら に カ メ ラ の位置 やレ ン ズの焦点およ び拡大の設定は， 視差の影響を でき る だけ 小さ く する ため， 撮影さ れた 画像に おけ る 被写体の位置や大き さ がカ メ ラ 間でほぼ同じ に な る よ う に 調節し た ． 逆畳み込みのパラ メ ータ に ついて は， ぶれ関数の窓の幅と 高さ を 共に 29 画素 と し た ． こ れは撮影さ れた 画像に おけ る 動き ぶれの見た 目の大き さ から ， シー ン 中での動き を 捉え る のに 十分な 窓の大き さ と 判断し て 設定し た も のであ る ． 5.1.2 結果 各手法の結果と し て 得ら れた 画像を 図 2 に 示す． 結果の見た 目を 比較する と ， 総露光撮影では動き ぶれが生じ た のに 対し ， 他 の 3 手法は動き ぶれの解消に 成功し た ． し かし 短露光撮影ではショッ ト ノ イ ズ に よ っ て 画像全体が荒れた ． ま た 逆畳み込みではカ メ ラ の垂直移動に よ る 画像 全体で単一の動き への対処に は成功し て いる が， 動き ぶれが解消さ れる 代わり 12 (a) (b) (c) (d) 図 2: 単一の動き に 対する 実験の結果と し て 得ら れた画像． (a) 総露光撮影． (b) 露光短縮撮影． (c) 逆畳み込み [9]． (d) 提案手法． 13 に ア ーテ ィ フ ァ ク ト が生じ た ． そ れら に 対し て ， 提案手法ではア ーテ ィ フ ァ ク ト を ほと ん ど 生じ る こ と な く ， 動き ぶれと ショッ ト ノ イ ズの両者を 抑え た 画像 を 得る こ と に 成功し た ． 5.2 5.2.1 複数の動き に対する 実験 方法 逆畳み込みでは対処でき ない動き に提案手法で対処でき る こ と を 示すため， 複 数の動き のあ る 統制さ れた シーン に おいて 各手法に よ る 撮影を 同時に 行い， そ れら を 比較し て 定性的およ び定量的に 評価を 行っ た ． 評価に おいて は， 定性的 に は画像の見た 目を 比較し た ． 定量的に は一般的な 画質の尺度であ る ピ ーク 信 号対雑音比 (peak signal-to-noise ratio, PSNR) [10] を 比較し た ． PSNR の値が 大き け れば大き いほど 画像中のノ イ ズに 対し て 信号が大き い， すな わち 画質が 高いと 判断さ れる ． グラ ウ ン ド ト ゥ ルース (ground truth) 画像 f と 各手法の結 果であ る 画像 fˆ に ついて ， PSNR は次のよ う に 定義さ れる ． PSNR f, fˆ h i ≡ 10 log10 MAX2 MSE[f, fˆ] ! [db] (22) こ こ で MSE f, fˆ は f と fˆ について の平均二乗誤差 (mean squared error, MSE) h i であ り ， 次のよ う に 定義さ れる ． MSE f, fˆ h i ≡ w X h 2 1 X fij − fˆij wh i=0 j=0 (23) こ こ で fij , fˆij はそ れぞれ f ， fˆ の画像平面上の位置 (i, j) に あ る 画素の値であ る ． ま た w, h はそ れぞれ画像の幅と 高さ であり ， 本実験では w = h = 100 と し た ． MAX は輝度値が取り 得る 最大値であ り ， 次のよ う に 定義さ れる ． MAX ≡ 2d − 1 (24) こ こ で d は画像のビッ ト 深度であり ， 本実験では全画像を d = 8 と な る よ う に変 換し て から PSNR を 計算し た． こ れは逆畳み込みのコ ード の出力が深度 8 ビッ ト に固定さ れて おり ， それに全て の画像を 合わせる 必要があっ たから である ． ま た 露光短縮撮影と 提案手法について は， カ メ ラ で設定し た露光時間の総露光撮影と 短露光撮影の間での誤差を 考慮し て ， 手法の結果に対し て グラ ウ ン ド ト ゥ ルース 画像に 合わせた 明る さ 補正を 行っ て から PSNR を 計算し た ． 明る さ 補正に はグ 14 ラ ウ ン ド ト ゥ ルース 画像と の間の明る さ 変換関数 (brightness transfer function, BTF) [11] を 用いた ． グラ ウ ン ド ト ゥ ルース画像の生成には， 動き のな いシーン において 総露光時間 で撮影し た画像 100 枚を 平均し た． 画像を 平均し たのは画像統合に よ っ て ショッ ト ノ イ ズを 軽減し た 上で， 総露光時間で撮影さ れた 画像と 同じ 明る さ の， 各手 法の結果と 比較可能な 画像と する た めであ る ． ま た 各手法の結果の生成に 用い る 画像の撮影は動き を 加え 始める と 同時に 開始する こ と で， 撮影開始の瞬間の シーン と グラ ウ ン ド ト ゥ ルース 画像が反映する シーン が同じ と な る よ う に し た． 単一の動き に 対する 実験と 同様に ， 画像の撮影に は 2 台のカ メ ラ を 用いた． 2 台のカ メ ラ の視差を 考慮し て ， グラ ウ ン ド ト ゥ ルース 画像はカ メ ラ ごと に 生成 し た． シーン の設定と し て は， グラ ウ ン ド ト ゥ ルース画像の生成には動き のな いシー ン での撮影が必要であ る た め， 2 台のカ メ ラ は 1 つの三脚に 固定し ， 被写体は 人形と し た ． シーン に 加え る 動き と し て は， カ メ ラ を 固定し て いる 三脚と 人形 を 乗せて いる 台を 同時に 人手で叩いて 衝撃を 加え る こ と で， カ メ ラ の手ぶれと 被写体の動き を 発生さ せた ． カ メ ラ の設定は単一の動き のあ る シーン に おけ る 実験と 同様に 行っ た ． 本実験に おいて はシーン の設定およ び画像の撮影と 処理を 1 回の試行と し た． そ し て 各手法の結果の生成に 用いる 総露光画像と 短露光画像の撮影を そ れぞれ ど ち ら のカ メ ラ で行う かを 入れ替え た 2 回の試行を 1 セ ッ ト と し て 行っ た ． こ れは 2 台のカ メ ラ に は人手で行っ た 調節やカ メ ラ の特性に よ る 設定の誤差， お よ び視差があ り ， 一方の撮影条件がも う 一方よ り も 有利に な っ て いる 可能性が あ っ た から であ る ． さ ら に 動き は試行ごと に 異な る ので， 結果を 平均的に 考え る た めに こ の 2 回の試行を 3 セ ッ ト ， すな わち 合計 6 回の試行を 行っ た ． 逆畳み込みのパラ メ ータ に ついて は， ぶれ関数の窓の幅と 高さ を 共に 5 画素 と し た ． こ れは多く の試行に おいて 窓がこ れよ り 小さ いと 逆畳み込みの効果が ほと んど 現れず， ま た こ れよ り 大き いと 深刻な ア ーテ ィ フ ァ ク ト が発生し た か ら であ る ． 5.2.2 結果 6 回の試行のそ れぞれで 4 枚， 合計 24 枚得ら れた各手法の結果を 図 3 に 示す． こ の図に は正規化と ガン マ 補正に よ る 補正を 掛け て 見易く し た も のを 示し て い る ． 実験で PSNR の計算に 用いた のは補正を 行う 前の元画像であ っ た ． ま た 1 15 図 3: 複数の動き に 対する 実験の結果と し て 得ら れた画像． 正規化と ガン マ 補正 を 掛け て ある ． (第 i 行) i 回目の試行（ i = 1, . . . , 6） ． (第 1 列) 総露光撮影． (第 2 列) 露光短縮撮影． (第 3 列) 逆畳み込み [9]． (第 4 列) 提案手法． 回目の試行に ついて は， PSNR の計算に 用いた ， 結果のグラ ウ ン ド ト ゥ ルース に 対する 二乗誤差を 各画素の値と する 画像を 図 4 に 示す． さ ら に 結果の PSNR を 表 1 に 示す． 16 図 4: 複数の動き に 対する 実験に おけ る ， 1 回目の試行の結果のグラ ウ ン ド ト ゥ ルース に 対する 二乗誤差画像． (第 1 列) 総露光撮影． (第 2 列) 露光短縮撮影． (第 3 列) 逆畳み込み [9]． (第 4 列) 提案手法． 表 1: 複数の動き に 対する 実験の結果の PSNR（ 単位はデシベル） ． カ メ ラ の列 は， 左右に 並べたカ メ ラ のう ち のど ち ら で短露光画像の撮影を 行っ たかを 示す． すな わち ， こ ち ら のカ メ ラ で短露光画像， も う 一方のカ メ ラ で総露光画像を 撮 影し た と いう こ と を 示す． 試行 1 2 3 4 5 6 セッ ト 1 2 3 カメ ラ 総露光 撮影 露光短縮 撮影 逆畳み込み [9] 提案手法 左 26.4 27.7 24.0 35.4 右 25.0 28.7 24.1 31.5 左 32.1 27.7 28.7 36.2 右 28.8 28.7 26.2 32.1 左 24.4 27.6 23.6 33.4 右 24.9 28.6 24.0 34.6 17 結果の見た 目に よ る と ， いずれの試行に おいて も 総露光撮影では被写体周辺 に 動き ぶれが生じ た． 露光短縮撮影では動き ぶれは見た目に は生じ な かっ たが， 画像全体がショッ ト ノ イ ズに よ っ て 荒れた． 逆畳み込みでは縞状のア ーティ フ ァ ク ト が生じ て おり ， 二乗誤差画像を 見る 限り ， 被写体周辺の動き ぶれも 解消さ れな かっ た ． 提案手法では動き ぶれ， ショッ ト ノ イ ズ， ア ーテ ィ フ ァ ク ト のい ずれも ほと んど 見ら れな い画像を 撮影でき た ． 試行 3， 4 を 除く 各試行に おいて PSNR は提案手法， 露光短縮撮影， 総露光撮 影， 逆畳み込みの順に 大き かっ た． そ れに 対し て 試行 3， 4 に おいて は露光短縮 撮影と 総露光撮影の順位が逆転し て いた． こ れは試行 3， 4 では他の試行に 比べ て シ ーン 中の動き が小さ く ， 露光短縮に よ る 動き ぶれの減少よ り も ショッ ト ノ イ ズの増加の影響が大き かっ た から であ る と 考え ら れる ． 実際に こ れら の試行 では他の試行よ り も 総露光撮影の PSNR が大き く ， シーン に おけ る 動き ぶれが 小さ かっ た こ と が分かる ． いずれの試行でも 逆畳み込みは， 総露光撮影さ れた 画像に 対し て 適用さ れた のに も 関わら ず， 総露光撮影さ れた 画像よ り も PSNR が小さ かっ た ． 結論と し て ， 本実験のよ う な シーン に おいて は提案手法に よ っ て 他手法よ り も 定性的およ び定量的に 良好な 画質の画像を 撮影でき た ． 一方， 逆畳み込みは こ のよ う な シーン では失敗し ， 総露光撮影よ り も 画質は悪く なっ た． こ れはシー ン 中の動き が逆畳み込みに おけ る シフ ト 不変性の仮定に 当て はま ら な いも ので あ っ た から であ る と 考え ら れる ． ま た 露光短縮撮影では動き の大き さ に よ っ て は動き ぶれを 抑え る 以上に ショッ ト ノ イ ズを 生じ た が， 提案手法では動き の大 き さ に 関わら ず良好な 画質の画像が得ら れた ． 最後に 6 回の試行に おけ る ， 撮影し た 短露光画像に 対する 提案手法の計算時 間を 表 2 に示す． ま た同じ 短露光画像に対し ， 提案手法の統合において 位置合わ せを 行わな かっ た場合の計算時間も 同じ 表に 示す． 使用し た CPU は Intel Core i7-2600 (3.40 GHz)， GPU は NVIDIA GeForce GT 420 であ っ た ． 提案手法の 平均計算時間は約 14 秒であり ， 短露光画像の撮影後の位置合わせを 伴う 画像統 合に かな り の時間が掛かっ た こ と がわかる ． 本実験では 100 × 100 画素の単色 画像を 用いたが， 画素数やカ ラ ーチャ ン ネ ル数の大き い画像の撮影に おいて は， さ ら に 時間が掛かる こ と が予想さ れる ． そ のた め， 現在の提案手法では短露光 画像の撮影後すぐ に 結果を 得る こ と はでき な いと 考え ら れる ． ま た 位置合わせ を 行わな かっ た 場合の計算時間は僅かであ り ， 画像を 足し 合わせる 処理よ り も 18 表 2: 複数の動き に 対する 実験の各試行に おけ る 提案手法， およ び提案手法の統 合に おいて 位置合わせを 行わな かっ た 場合の計算時間（ 単位は秒） ． 試行 提案手法 位置合わせ なし 1 14.4 0.381 2 13.4 0.365 3 15.0 0.314 4 13.4 0.359 5 14.4 0.343 6 13.8 0.409 平均 14.1 0.362 画素追跡に よ る 位置合わせに 時間が掛かっ た こ と がわかる ． 画素追跡で用いた LDOF ト ラ ッ カ に は GPU に よ る 高速化が行われて いる が， そ れに も 関わら ず こ れだけ の計算時間が掛かっ たこ と を 考え る と ， こ れは LDOF ト ラ ッ カ の性能 の限界であ る と 考え ら れる ． 5.3 5.3.1 実際の撮影を 想定し た実験 方法 提案手法の実際的な 有効性を 示すた め， 実際の撮影を 想定し た シーン に おい て 各手法に よ る 撮影を 同時に 行い， そ れら の見た 目を 比較し て 定性的に 評価を 行っ た ． 評価に おいて は画像の見た 目を 比較し た ． 本実験ではカ メ ラ を 1 台だけ 用いて 露光短縮撮影と 提案手法のた めの複数枚 の短露光画像を 撮影し ， そ れら を 位置合わせし な いで統合する こ と で総露光撮 影と 逆畳み込みのた めの総露光画像を 合成し た ． こ れは第 3 章で述べた 理論上 は， 短露光画像を 位置合わせせずに 統合する こ と で， 総露光画像と 等し い画像 を 合成する こ と ができ る こ と に よ る ． 実際に はカ メ ラ に 由来する ノ イ ズや撮影 間の僅かな セ ン サリ セ ッ ト 時間に よ り ， こ の方法で合成し た 画像は期待さ れる 画像と 厳密に は異な る も のと な る ． し かし 本実験では厳密な 定量的評価を 行わ な いので， こ の差は無視する こ と と し た ． 短露光画像と 総露光画像から の各手 法の結果の生成は， 統制さ れた シーン に おけ る 実験と 同様に 行っ た ． シーン は被写体であ る 人物が画面左から 右に 歩いて おり ， 撮影を 行う カ メ ラ 19 図 5: 実際の撮影を 想定し た 実験で露光分割撮影し た 10 枚の画像のう ち の 3 枚． (第 1 行) 撮影さ れた そ のま ま の画像． (第 2 行) 正規化と ガン マ 補正を 掛け た 画 像． (第 1 列) 1 枚目の画像． (第 2 列) 5 枚目の画像． (第 3 列) 10 枚目の画像． に 手ぶれが加え ら れて いる も のと し た． 各画像のビッ ト 深度は 8 ビッ ト ， 幅， 高 さ はそ れぞれ 640， 480 画素， チャ ン ネ ル数は 1 であ っ た ． 総露光時間は 1/12 秒， 露光分割数は 10 と し ， 1 枚当たり 1/120 秒の露光時間で 10 枚の画像を 撮影 し た． 逆畳み込みのパラ メ ータ である ぶれ関数の窓の幅と 高さ は共に 49 画素と し た が， こ れは提案手法中の画素追跡の推定結果を 見る 限り ， シーン 中の動き を 捉え る のに 十分な 大き さ であ っ た ． 5.3.2 結果 撮影し た 画像のう ち ， 1， 5， 10 枚目を 図 5 の第 1 行に 示す． こ れら の画像は そ のま ま では暗いので， 正規化と ガン マ 補正を 掛け た 画像も 同じ 図の第 2 行に 示す． 以下の実験で使用し たのは第 1 行の， 撮影さ れたそ のま ま の画像である ． 撮影し た 画像に 提案手法に おけ る 画素追跡を 適用し た 結果と ， そ れを 拡大し た も のを 図 6 に 示す . 得ら れた のは全画素の軌跡であ る が， こ の図に お いて は 格子点上の画素と そ の軌跡のみを 描いて あ る ． こ の結果を 見る と ， 人物と 背景 の上では動き の軌跡が異な っ て おり ， 画像中で複数の動き が起こ っ て いた こ と がわかる (背景の動き はカ メ ラ の手ぶれに 対応する )． ま た 直線的でな い動き の 軌跡があ り ， 向き の一定でな い動き も 起こ っ て いた こ と がわかる ． こ のよ う な 空間的およ び時間的に 一様でな い動き は従来手法では対処でき ず， 提案手法が 有効であ る と 考え ら れる も のであ る ． 撮影し た 短露光画像およ び合成し た 総露光画像を 処理する こ と で得た ， 各手 20 図 6: 実際の撮影を 想定し た 実験での画素追跡の結果と ， そ れを 拡大し た も の． (a) (b) (c) (d) 図 7: 実際の撮影を 想定し た実験で結果と し て 得ら れた画像． 正規化と ガン マ 補 正を 掛け て あ る ． (a) 総露光撮影． (b) 露光短縮撮影． (c) 逆畳み込み [9]． (d) 提案手法． 法の結果と し て 得ら れた 画像を 図 7 に 示す． ま た 人物周辺を 拡大し た も のを 図 8 に 示す . 総露光撮影では動き ぶれが生じ て いる のに 対し ， 提案手法では目に 見え る 動 き ぶれは生じ な かっ た ． ま た 短縮露光撮影でも 動き ぶれを 抑え る こ と ができ た 21 (a) (b) (c) (d) 図 8: 図 7 の画像を 拡大し たも の． 結果と し て 得ら れたそ のま ま の画像を 切り 出 し た後， 正規化と ガン マ 補正を 掛け て ある ． (a) 総露光撮影． (b) 露光短縮撮影． (c) 逆畳み込み [9]． (d) 提案手法． (b) と (d) の中心に 描かれた白い矩形の内部 は図 9 でさ ら に 拡大し て いる ． 22 (a) (b) 図 9: 図 8 の白い矩形の内部を 拡大し たも の． 結果と し て 得ら れたそ のま ま の画 像を 切り 出し た 後， 正規化と ガン マ 補正を 掛け て あ る ． (a) 露光短縮撮影． (b) 提案手法． が， 提案手法に よ っ て 短縮露光撮影よ り も シーン を 詳細に 捉え た 画像を 得る こ と ができ た ． こ れは図 8 に おけ る 露光短縮撮影と 提案手法に ついて の結果の中 心（ 白い矩形の内部を 拡大し た も のを 図 9 に 示す） を 見る と 明ら かであ る ． さ ら に 逆畳み込みは人物と 背景のいずれの部分でも 復元に 失敗し た ． こ れはシー ン 中の動き がシフ ト 不変の仮定を 満たし て いな かっ たから である と 考え ら れる ． 厳密に は逆畳み込みに 与え た 画像は短露光画像から 合成さ れた も のであ り ， 逆 畳み込みに おいて 期待さ れる 総露光画像と は異な る ． し かし こ の影響は合成さ れた 画像の見た 目に 現れる ほど ではな く ， 合成画像が期待さ れる 画像から 大き く 劣化し て いる と は考え ら れな いので， 逆畳み込みの失敗は手法そ のも のの限 界に よ る も のであ る と 考え ら れる ． さ ら に 提案手法に おいて オク ルージョ ン に 対処し て いた こ と を 示すた め， 基 準画像の各画素に ついて そ の画素の位置を 特定でき た 短露光画像の枚数を ， 画 素の明る さ に よ っ て 図 10 に 示す． 歩いて いる 人物の周囲に は多く の暗い画素 があ る が， こ れは背景が撮影中に 動く 人物に よ っ て 隠さ れ， そ の領域の画素の 位置が特定でき な く な っ た こ と を 示し て いる ． そ れに 対応し て 図 6 のこ の領域 に おいて は， ほと んど 画素が追跡さ れて いな い． 提案手法ではこ う し た 画素に ついて は， オク ルージョ ン が検出さ れた 後は統合を 行わな かっ た ． た だし 人物 の後方（ 画像中では人物の左側） の背景領域に ついて は， LDOF ト ラ ッ カ に お 23 図 10: 各画素の位置が特定でき た 画像の枚数． 明る い画素ほど 多く の画像で位 置を 特定でき た こ と を 示し て いる ． け る オク ルージョ ン や動き の境界の誤検出に よ っ て 追跡が停止し た 可能性があ る ． こ う 考え ら れる のは， こ の領域は一様で特徴的な 点が少な いた め画素の変 位の推定が難し く [7]， LDOF ト ラ ッ カ に よ る 追跡が不安定に な る から であ る ． 誤検出があ る と そ の領域では画像統合に おいて 統合でき る はずの輝度値を 無視 し て し ま い， ショッ ト ノ イ ズの抑制に よ る 画質の向上が限ら れる ． こ の領域で 追跡が行われな かっ た のが人物の腕の動き に よ る オク ルージョ ン が正し く 検出 さ れた た めか， そ れと も 領域の一様性に よ る 誤検出のた めかは， 本実験の結果 から は判断でき な い． 第6章 結論 本研究では露光分割と 画素追跡に よ る 動き ぶれのな い画像撮影の手法を 提案 し た ． こ の手法は特殊な 光学系ハード ウ ェ ア を 必要と せず， カ メ ラ の手ぶれと 被写体の動き の両方に 同時に 対処でき る と いう 点で， 従来手法の問題点を 克服 し て いる ． ま た ショッ ト ノ イ ズに ついて の定量的な 議論に 基づいて 露光分割の 原理を 明ら かに し た ． さ ら に 定性的およ び定量的評価に 基づいて 提案手法の有 効性を 示し た ． 24 今後の課題の一つは， 提案手法の画素追跡に おけ る 計算時間を 短縮する こ と である ． それには既に GPU によ っ て 高速化さ れて いる LDOF ト ラ ッ カ よ り も 効 率的な 画素追跡のア ルゴ リ ズム を 開発する 必要があ る ． ま た 一様な 領域に おけ る 提案手法の挙動を よ り 詳し く 分析する こ と も 課題であ る ． そ のよ う な 領域で オク ルージョ ン の誤検出が起き る な ら ば， LDOF ト ラ ッ カ の検出基準を 領域の 一様性に 応じ て 調節し ， 画素追跡が停止し な いよ う に する こ と で提案手法の性 能を 向上でき る 可能性があ る ． そ のた めに は画素追跡が不確かな 場合に 追跡を 続行すべき か停止すべき かを ， 画質への影響を 考え て 判断する 必要があ る ． 画 素追跡手法と し て オク ルージョ ン に さ ら に 頑健な も のを 開発する こ と も 提案手 法の性能の向上に 繋がる ． 謝辞 本研究に 当たっ て 熱心に 御指導下さ っ た美濃導彦教授に 厚く 御礼申し 上げる ． ま た 数々 の御助言を 下さ っ た 椋木雅之准教授， 舩冨卓哉助教， 飯山将晃准教授 に 御礼申し 上げる ． 最後に 多く の御意見を 下さ っ た 美濃研究室の皆様に 感謝の 意を 表する ． 参考文献 [1] Tico, M.: Adaptive block-based approach to image stabilization, Proc. IEEE International Conference on Image Processing, pp. 521–524 (2008). [2] Ben-Ezra, M. and Nayar, S. K.: Motion-Based Motion Deblurring, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 26, No. 6, pp. 689–698 (2004). [3] Levin, A., Weiss, Y., Durand, F. and Freeman, W. T.: Understanding and evaluating blind deconvolution algorithms, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1964–1971 (2009). [4] Wei, Z., Cao, Y. and Newton, A. R.: Digital Image Restoration by Exposure-Splitting and Registration, Proc. International Conference on Pattern Recognition, pp. 657–660 (2004). [5] Choi, B.-D., Jung, S.-W. and Ko, S.-J.: Motion-blur-free camera system splitting exposure time, IEEE Trans. Consumer Electronics, Vol. 54, No. 3, pp. 981–986 (2008). 25 [6] Sony Electronics Inc.: Sony a99 Full-Frame DSLR Camera Body, http:// store.sony.com/webapp/wcs/stores/servlet/ProductDisplay? catalogId=10551&storeId=10151&langId=-1&productId= 8198552921666485827#features (2013). [7] Brox, T. and Malik, J.: Large Displacement Optical Flow: Descriptor Matching in Variational Motion Estimation, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 33, No. 3, pp. 500–513 (2011). [8] Sundaram, N., Brox, T. and Keutzer, K.: Dense point trajectories by GPUaccelerated large displacement optical flow, Proc. European Conference on Computer Vision, pp. 438–451 (2010). [9] Shan, Q., Jia, J. and Agarwala, A.: High-quality motion deblurring from a single image, ACM Trans. Graph., Vol. 27, No. 3, pp. 73:1–73:10 (2008). [10] Horé, A. and Ziou, D.: Image quality metrics: PSNR vs. SSIM, Proc. International Conference on Pattern Recognition, pp. 2366–2369 (2010). [11] Prosser, B., Gong, S. and Xiang, T.: Multi-camera Matching using BiDirectional Cumulative Brightness Transfer Functions, Proc. British Machine Vision Conference, pp. 64:1–64:10 (2008). [12] Grinstead, C. M. and Snell, J. L.: Introduction to Probability, American Mathematical Society, pp. 368–371 (1997). 26 付録 定理 1. i = 1, . . . , n のそ れぞれに ついて ， Xi を 次式を 満た す確率変数と する ． Xi ∼ Pois (λi ) (A.1) ま た X1 , . . . , Xn を 互いに独立と する ． さ ら に X を 次式で定義さ れる X1 , . . . , Xn の総和と する ． X ≡ n X Xi (A.2) i=1 する と 次式が成り 立つ． X ∼ Pois (λ) (A.3) こ こ で λ は次式で定義さ れる λ1 , . . . , λn の総和であ る ． λ ≡ n X λi (A.4) i=1 証明. X の積率母関数を MX ， i = 1, . . . , n のそ れぞれに ついて Xi の積率母関 数を MXi と する ． X1 , . . . , Xn は互いに 独立である ので， そ れら の総和である X の積率母関数は X1 , . . . , Xn の積率母関数の総乗であ る [12]． よ っ て 次式が成り 立つ． MX (t) = n Y MXi (t) (A.5) i=1 ま た i = 1, . . . , n に ついて ， Xi はパラ メ ータ λi のポア ソ ン 分布に 従う ので， 次 式が成り 立つ [12]. t MXi (t) = e(e −1)λi (A.6) 以上よ り 次式が成り 立つ． t MX (t) = e(e −1) Pn i=1 λi t = e(e −1)λ . (A.7) こ れはパラ メ ータ λ のポア ソ ン 分布の積率母関数であ る ． 確率分布は積率母関 数に よ っ て 一意に 決定さ れる [12] ので， 題意が成り 立つ．
© Copyright 2024 Paperzz
