画像化プロセスと画像ノイズ 高松 淳 ! (奈良先端科学技術大学院大学)! "#$%&'(!)#*%+%,&-./%&-*.)0! 1"2(!340(55672789-./%&-*.)05:)#*%+%5 1 本チュートリアルのターゲット 光源 物体 レンズ センサ 出力 2 背景 • ノイズがもたらす画像処理における悪影響 3 どうやって? 輝度値 • ノイズそのものの振る舞いの予測は難しい 時刻 t t 出現頻度 時刻 輝度 4 画像ノイズに対する頑健化 • 統計的手法の利用 p(" X ) = p( X ") p(") # p( X ") p(")dx ベイズ推定 ! 事後確率最大化 X(!データセット! ;(!モデルパラメータ ˆ = " # "p(" X )d" ˆ = argmax p(" X ) " " ! 最尤推定 ˆ = argmax p( X ") " " ! 5 統計的手法の適応手順 p(" X ) = ! p( X ") p(") # p( X ") p(")dx X(!データセット! ;(!モデルパラメータ <. 確率変数の関係のモデル化! =. 個々の確率密度関数の設計 >. 全体の確率密度関数の推定! 6 確率密度関数の推定 • 小規模な問題なら解ける! • 大規模な問題+?%9*76&@%87/! – A6%03!9B*-! – 信念伝搬法! – パーティクルフィルタ! – 隠れマルコフモデル! 7 ?%9*76&@%87/:ノイズ除去の例 p(" X ) = p( X ") p(") # p( X ") p(")dx X(!入力画像! !(!ノイズ除去された画像 ! 各画素は独立 i 隣合う画素同士は関連がある! (例:滑らかさ) ! ( p( X ") = $ p x i # i p(") = % i ) % p(# ,# ) i j j$N ( i) 8 ! ! 確率密度関数の設計 ( p( X ") = $ p x i # i i ) 真の値に対する観測値の尤度:画像ノイズ p(") = % i % p(# ,# ) i j j$N ( i) 画像データベースからの学習、?&"'C!7D!"E0"6*- 9 本日の内容 • • • • • • • 画像化プロセス! 画像化プロセスと画像ノイズモデル! 画像ノイズの取得! レスポンス関数・FGH画像! 画像ノイズ・画像化プロセスを利用した推定! 画像ノイズからみるモデル推定手法! おまけ! 10 画像化プロセス 11 画像化の仕組み • フォトトランジスタによる光電効果の利用! 光の吸収にともない電子が励起される現象 基本的には フォトトランジスタを配列上に配置し、! 光電流を取り出す機構をつければよい IIGとIJKL 様々な波長の信号を取り出せば色情報も得られる! >センサ、<センサ!M!デモザイキング、(?KNOKP!Q>) 12 IIGイメージセンサ 図は「IIGイメージセンサ」(=R<R年<<月25日(木)STI!<=(>U)! 『フリー百科辞典 ウィキペディア日本語版』より一部改変して引用! 13 IJKLイメージセンサ • 一種のメモリ 図は「IJKLイメージセンサ」(=R<R年<<月25日(木)STI!<=(>8)! 『フリー百科辞典 ウィキペディア日本語版』より引用! 14 色画像の取得 • >センサーの利用(HV!AV!W) • I?X+デモザイキング # ! # ! # # ! ! # ! " ! " ! ! " " ! # ! # ! # !"##$%&'( !"##$%&') " ! ! " ! # # ! !"##$%&'* !"##$%&'+ ! " ! " ! # ! # ! # 15 より美しく画像を見せるために • ホワイトバランス:光源の影響をキャンセル! Output • カメラレスポンス関数:表現の効率化! Input 16 画像化プロセス <. =. >. Y. Z. [. U. \. 光電効果による変換! アンプによる信号処理! (デモザイキング)! ホワイトバランス! レスポンス関数! (信号処理)! X5G変換! データ圧縮! HX]フォーマットによる出力! 6%1画像をさわろう • C96%1を使えば中身に触れる! http://www.cybercom.net/~dcoffin/dcraw/ • デモザイキングアルゴリズムとしてW&'&/"%6、NPA、 ^^A、XFGが実装されている!_#`!aR!b!>cd! • <[2&*で'&/"%6!IH?で吐き出してくれる!_#Yd! • I?Xパターンもわかる! 18 画像化プロセスと画像ノイズ 19 画像化プロセスと画像ノイズ <. =. >. Y. Z. [. U. \. 光電効果による変換! アンプによる信号処理! (デモザイキング)! ホワイトバランス! レスポンス関数! (信号処理)! X5G変換! データ圧縮! ノイズの発生源! ノイズの特性の変換! 20 時間的な問題によるノイズ – モーションブラー:シャッター開放中に環境が動く ことによって生じる! – ローリングシャッター現象(IJKL):ピクセルごと に露光のタイミングが異なる! 21 ハードウエアに起因するノイズ • ブルーミング! – 他画素への電荷の混入! • スミア! – 転送IIGへの電荷の混入! 余り考慮されることはない?! せいぜいアウトライヤー扱い! 図は「スミア」(=R<R年<<月=e日(月)STI!e(=U)! 『フリー百科辞典 ウィキペディア日本語版』より引用! 22 光電効果・素子における画像ノイズ • フォトン・エレクトロンショットノイズ! – 光・電子の粒子性にともなうノイズ! ポアソン分布で仮定される! 平均・分散は輝度に依存する! • 暗電流ショットノイズ! – 熱による電子の励起! 平均・分散は温度や! ポアソン分布で仮定される! 露光時間に依存する! • 読み出しノイズ! 正規分布で仮定される! 23 画像ノイズの定式化 I = A( I˜ + N s + N DC + N R ) ! ! ! I(!観測値! !!!!!!(!真の観測値(N Sの分散が0になるように定める) ˜I !!!!A(!ゲイン! NS(!フォトン・エレクトロンショットノイズ! NDC(!暗電流ショットノイズ!! NR(!読み出しノイズ! レスポンス関数と量子化が加わると! I = f A( I˜ + N s + N DC + N R ) + NQ ( ) Glenn E. Healey and Raghava Kondepudy, “Radiometric CCD Camera Calibration and Noise Estimation”, PAMI, Vol. 16, No. 3, pp. 267-274, 1994 24 画像ノイズの平均・分散 I = A( I˜ + N s + N DC + N R ) ノイズの独立性を仮定! ! I = AtP + AtE ( N DC ) 2 " 2 = A 2 tP + A 2 t"DC + A 2"R2 暗電流ノイズの影響が少ないと仮定! 76!!!!!!を暗電流ノイズも含めて定義! ! ! " 2 = sI˜ + t 25 ! 実際の例 • ^7&/*!A6"f!G6%g7/hf!H#I3%//"' 26 波長に関するノイズ特性 • HAW間のノイズは独立である! • (経験的には)HAW間ではノイズの大きさは異 なる! 波長によって分光感度特性が変わり、! 結果としてゲインが変わるため?! 27 色恒常性・色度・画像ノイズ • HAW空間ではノイズ分布は単純化できる! 線形なレスポンス関数なら" = sI˜ + t 2 • 色度空間だと非線形な変換が加わる IR IB " IR % p$ ' = # IB & ! ( "K % IR p( I ) p$ 'dI, K = #I& IB 非線形変換 f(x) = 1/x ! ! 28 空間に関するノイズ特性 • 転送劣化!_IIGd! • 画素ごとに素子の不均一性がある!_IJKLd IIGに比べIJKLのほうが不均一性が大きい! 暗いところでは暗電流ショットノイズの不均一性が大きい! 29 画像化プロセスと画像ノイズ <. =. >. Y. Z. [. U. \. 光電効果による変換! アンプによる信号処理! (デモザイキング)! ホワイトバランス! レスポンス関数! (信号処理)! X5G変換! データ圧縮! ノイズの発生源! ノイズの特性の変換! デモザイキングと画像ノイズ • 変化の仕方は補間の仕方による "I2 (i) = $ w j"O2 ( j ) 空間的なノイズの独立性を仮定! j#N ( i) 補間画素の分散は小さくなる傾向がある! ! # ! # ! # # ! ! " ! " ! ! " # ! # ! # !"##$%&'( " ! ! " ! " ! ! # # ! # ! # Jun Takamatsu, Yasuyuki Matsushita, Tsukasa Ogasawara and Katsushi Ikeuchi, “Estimating demosaicing algorithms using image noise variance”, CVPR, 2010 !"##$%&'* 31 レスポンス関数 ノイズに関する確率密度関数が分かっていれば! O = f ( I ) であるとき! p(O) = p( I ) f ' ( I ) 元々の分散はそれほど大きくない! レスポンス関数はなめらか! ! ! "O2 # ( f ' ( I )) "I2 2 2 O " = 2 $ (I # µ ) p(I I˜)dI をテーラー展開することで得られる! O ! Jun Takamatsu, Yasuyuki Matsushita and Katsushi Ikeuchi, “Estimating radiometric response functions from image noise variance”, ECCV, 2008 ! 32 X5G変換 • 離散化誤差が発生 [ai ,bi ) "i # Z 誤差を一様分布で仮定! ! 2 q "O2 = "I2 + 12 離散化誤差の分散! ! "Q 2 = * q 2 q ) 2 q 2 3& 2 # 1 1 x q x 2 dx = % ( = q q $ 3 ' ) q 12 2 33 画像圧縮 • ほとんどわからないi! – j^OA圧縮の場合\E\のブロックが見える 34 画像ノイズの取得 35 画像ノイズの取得法 • (理論的には)同一信号源を同一方法で複数 観測する必要がある! 静的なシーンをパラメータ固定で複数回撮影! 36 単純な取得法 • (できるかぎり余分な信号処理は追加しない)! • 固定パターンノイズがないものと仮定! • 最頻値を真値とみなす! • 画像全体でまとめる 37 実際の例 • ^7&/*!A6"f!G6%g7/hf!H#I3%//"'!(<RRフレーム) 38 まじめに測定 • 線形なレスポンス関数を仮定! • 量子化も等間隔であると仮定! I (p) = A(K (p) I˜ (p) + N s (p) + N DC (p) + N R ) + NQ • 同一パラメータの2枚の画像の差分 ! ! ( ) 画像全体の輝度の平均! µ = A( I + E ( N "N2 (p) # A 2 I + E ( N DC (p)) + "C2 2 2 q "C2 = A 2"R2 + 12 DC ) (p)) "N (p) ! "C 差分画像の分散から を推定kXと が推定できる! 2 Glenn E. Healey and Raghava Kondepudy, “Radiometric CCD Camera Calibration and Noise Estimation”, PAMI, Vol. 16, No. 3, pp. 267-274, 1994 ! 39 まじめに測定 • 真っ黒なシーンを複数回撮影! I (p) = A( N DC (p) + N R ) + NQ ( ) ( ) 複数枚画像の平均! E I (p) = AE N DC (p) ! • 複数撮影条件下で複数枚撮影、平均化! ! E ( Ii (p)) = A K (p) I˜i (p) + E ( N DC (p)) ( ( ) ) E N DC (p) すでに は分かっている! ! 40 実際に測定 • P&+7/!G>L!lLK!\RR、シャッタースピード!<5ZR! – C96%1!b3!#Y!で現像! – 97/m"6*!#C"0*3!\で\2&*化! X n9= ! R.RUe R.=> " R.R<Y R.R>< # R.RRee R.<\ # ! # ! # # ! " ! " ! ! # ! # ! # ! " ! " ! # ! # ! # 41 !"## " ! !"## 実際に計測 • 固定パターン_ZRRR倍にスケールアップd 平均 分散 ! R.eeeZ R.R>=< " R.eeeZ R.R><[ # R.eeeZ R.R><e IIGより固定パターンの影響は<R倍は大きい 42 実際に測定 • 暗電流ノイズ(シャッター速度1秒、1000倍にス ケールアップ) ! 平均 R.R[\ 標準偏差<.< " R.R<R R.>Y # R.R<Z R.YU 43 単一画像からのノイズ推定 • 均質な表面からの推定! • ノイズ除去≒ノイズ推定と考える! 44 ノイズ除去手法概要 • 局所平滑化フィルター! – ガウシアン平滑化! – 異方性フィルタ! – T7*%'!N%6&%87/! 輝度変化に依存する! • 周波数領域フィルタ! – ]&"/"6!?&'*"6! – ]%m"'"*!T36"-37'C&/g! • P7/#'79%'!_Po#$"%/-V!OE%$0'"ベースV!WJ>Gd! A. Buades, B. Coll, and J. M. Morel, “A review of image denoising algorithms, with a new 45 one”, Multiscale Modeling and Simulation, Vol. 4, No. 2, pp. 490-530, 2005. ガウシアン平滑化 ノイズ除去前! ノイズ除去後! 差分画像! エッジ抽出に近い結果が出ている! 46 P7/!o79%'な手法 • 画像中に自己相似性が観測される Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian,“Image Denoising by Sparse 3D Transform-domain Collaborative Filtering”, IEEE Trans on Image Processing, Vol. 16, No. pp. 2080-2095, 2007 47 試してみる • G6%g7/hf!H#I3%//"'V!WJ>Gを使用 6 x 10 -5 5 4 3 2 1 0 0 0.2 0.4 0.6 0.8 1 48 ノイズ推定:レスポンス関数とノイズ • レスポンス関数のデータベースを利用して! !ノイズレベル関数を低次元化! Ce Liu, William T. Freeman, Richard Szeliski and Sing Bing Kang, “Noise Estimation from a Single Image”, CVPR, 2006. 49 レスポンス関数の取得 50 レスポンス関数の測り方 • 露光時間を変えて撮影した画像を利用 ( ) I = At P + E ( N DC ) 露光時間が倍kレスポンス関数への入力が倍! ! 露光時間を変えて同一信号を2回観測! ( ) g(O ) = At ( P + E ( N )) g(O1 ) = At1 P + E ( N DC ) 2 2 g(O1 ) g(O2 ) DC t1 = t2 51 ! レスポンス関数の表現法 • • • • • ガンマ補正! ガンマ補正+正規化! f ( I) = "I# + $ P ( I ,{" }) i f I = I ,P I, " = " I ( ) { i}) # i 一般化ガンマ補正! ( i=0 ! i f I = w I () " i 多項式表現! i=1 ! ^6&76!M!^IXによる次元圧縮! f ( I ) = I" i http://www.cs.columbia.edu/CAVE/software/softlib/dorf.php ! ! • ノンパラメトリック(滑らかさ拘束とセット) 52 レスポンス関数の測り方 • カラーチェッカーの利用 一様な光源で照らされている! 口径食(N&g/"p/g)の影響も除去されている! 表面反射率の比が入力の比に等しい 光学密度(K089%'!C"/-&*f)から表面反射率への変換! " % 1 Optical density = log10 $ ' # Light Transmission & 1 Light Transmission = pow(10, Optical density) ! 53 FGH画像と画像ノイズ 図は「ハイダイナミックレンジ合成」(=R<R年<<月=e日(月)STI!e(YR)『フリー百科辞典 ウィキペディア日本語版』より引用! レスポンス関数の推定では、オフセットに意味はない。 I = At P + E N DC HDRを作成する場合はオフセットも重要な意味を持つ。 ( ( )) ゲインを制御することでも同じ効果が得られるが、 桁あふれしてない場合 ノイズ的には性質は異なる。 t 2P 2 2 SNR = ! 1 2 2 2 2 2 2 2 2 " = A tP + A t"DC + A "R + "Q tP + t"DC + "R2 + 2 "Q2 A Samuel W. Hasinoff, Fredo Durand and William T. Freeman, “Noise-Optimal Capture for High Dynamic Range Photography”, CVPR, 2010. ! 54 ノイズ除去とブラー除去 • 高ゲイン・短シャッタ速度で複数枚撮影し、 ノイズ除去をしたほうが有利 Li Zhang, Alok Deshpande and Xin Chen, Denoising vs. Deblurring: HDR Imaging Techniques Using Moving Camera, CVPR, 2010 55 画像ノイズからの推定$ %$情報としての画像ノイズ$% 56 別の側面:情報としてのノイズ • 熱雑音:抵抗体内の電子の不規則な熱振動 によって生じる雑音 Vn = 4kTR"f ! k(!ボルツマン定数! "f(!帯域幅aF@c!! !!T(!導体の温度! !!R(!抵抗値! ! 57 画像ノイズの場合 • 単一ピクセルのHX]データにはほしい情報は ない? 2 " 2 = A 2 tP + A 2 t"DC + A 2"R2 それ以降に加えられる変更は?! ! デモザイキング、ホワイトバランス、レスポンス関数、! 信号処理、X5G変換、データ圧縮i! 58 カメラレスポンス関数の推定 • 入力空間でのノイズ分布の対称性を仮定! Yasuyuki Matsushita and Stephen Lin, “Radiometric Calibration from Noise Distributions”, CVPR, 2007. 59 カメラレスポンス関数の推定 • 入力空間でのノイズ分散のアフィン性の利用! Observation# Input Input# Output# Inverse response g! Noise variance# Radiometric Calibration# Input# Response f! Noise variance# Noise variance# Output# Imaging process# Output# Jun Takamatsu, Yasuyuki Matsushita and Katsushi Ikeuchi, “Estimating radiometric response functions from image noise variance”, ECCV, 2008 Input# デモザイキングアルゴリズムの推定 • ノイズの分散からI?Xパターンがわかる! • I?Xパターンがわかれば補間方法がわかる Jun Takamatsu, Yasuyuki Matsushita, Tsukasa Ogasawara and Katsushi Ikeuchi, “Estimating demosaicing algorithms using image noise variance”, CVPR, 2010 61 画像化プロセスを利用した推定$ %$&'()!'*$+'(,!-'!.として%$ 62 改ざん検出への応用 • IH?の不一致の利用! • デモザイキングの仕方! • 固定パターンノイズの違い! • ノイズレベル関数の違い! 63 IH?の利用 • 画像の補間のされ方を推定! – 輝度変化が平面的な部分を利用! "1 f '' f R R ( (R)) Rxx xy yy Rx 2 = Rx Ry = Ry 2 = f '( f 2 (R)) – エッジ周辺の色の混合を利用 "1 ! Yu-Feng Hsu and Shih-Fu Chang, “Image Splicing Detection using Camera Response Function Consistency and Automatic Segmentation”, Int. Conf. on Multimedia Expo., pp. 28- 31, 2007 Zhouchen Lin, Rongrong Wang, Xiaoou Tang and Heung-Yeung Shum, “Detecting Doctored 64 Images Using Camera Response Normality and Consistency”, CVPR, 2005 デモザイキングの利用 • デモザイキングを補間処理とみなす! !!kOJによる補間フィルターの推定 Alin C. Popescu and Hany Farid, Exposing Digital Forgeries in Color Filter Array Interpolated Images, IEEE Transactions on Signal Processing, Vol. 52, No. 10, pp. 3948—3959, 2005 65 固定パターンの利用 • あらかじめ固定パターンを測っておく! • 単一画像より固定パターンノイズを推定! – G%B2"93&"-!1%m"'"*ベースのノイズ除去を利用! Jan Lukas, Jessica Fridrich and Miroslav Goljan, Digital Camera Identification from Sensor Pattern Noise”, IEEE Trans. on Information Forensics and Security, Vol. 1, No. 2, pp. 205-214, 2006. Mo Chen, Jessica Fridrich, Miroslav Goljan and Jan Lukas, Determining Image Origin and Integrity Using Sensor Noise”, IEEE Trans. on Information Forensics and Security, Vol. 3, No. 1, pp. 74-90, 2008. 66 ノイズレベル関数の違い • ノイズレベル関数の^IX表現を利用した推定! • 動画中のノイズレベル関数の不一致を検出 小林,岡部,佐藤,”複数のノイズレベル関数の同時推定による映像改ざん 検出”, MIRU 2010 67 ノイズから見るモデル推定 68 最小二乗法 • 観測値と推定値の差の二乗和を最小化 "ˆ = argmin $ y i # f ( x i ;" ) " i ( ) 2 特徴! ! • モデル式が線形の場合、高々線形方程式をとけば良い! • 評価関数が微分可能k勾配ベースの最適化が使える! • 正規分布をノイズとするデータとの親和性 69 最小二乗法とノイズ • ノイズを正規分布と仮定し、最大化! & y % f (x )) i i ( ++ p y i x i ," = exp( 2 2 2#$ ' 2$ * ( y = f (x;" ) + e ! ( ) ( ) ) p " { x i },{ y i } = p { y i } { x i }," = , ! i ( ) ( 1 & % yi % f ( xi ) 1 ( exp 2 2 ( 2 $ 2#$ ' ( ) ) 2 ) + + * 2 "log p { y i } { x i },# = $ y i " f ( x i ) + const ! i 70 モデル化とデータ圧縮 • モデル化=より少ない情報でデータを表現! • ノイズ=モデルとは独立に存在するもの! !! ! ! !kモデル化により軽減される! 周波数領域フィルタがうまく! ノイズ除去できる(であろう)根拠! 71 最小二乗法に基づくデータ圧縮 • 主成分分析! – ユークリッド距離をできるだけ保存しつつ圧縮! • 特異値分解+低次元化! – フロベニウスノルムを最小化しつつ圧縮! A F = "" a i ! 2 ij j 72 最小二乗法と外れ値 • 外れ値:母集団の分布に従わない点 J#"-8$%*76V!HXPLXI! 図は「HXPLXI」(=R<R年<<月=e日(月)STI!<R(RZ)! 『フリー百科辞典 ウィキペディア英語版』より引用! 73 種々のノルム • o0#ノルム x x p #n & p = %" x i ( $ i=1 ' = max( x1 ,…, x n ) " ! ! ! 2 x 2 = x1 + ! + x n x1 + ! + x n x1= x 0 = $1 " # ( x i ) ! i 2 最悪の場合を最適化、データフィッティング 線形計画法 最適化が容易、剛体変換に不変 線形方程式、勾配ベースの最適化… スパースネスの尺度の近似 L1-Lasso, Fixed point algorithm 外れ値に頑健! Rでない要素の数(スパースネス) Marching pursuit 74 ロバストなデータ圧縮 • 低次元化+誤差項のスパースネス! – G(!各列が1つのデータに対応 ! min rank ( A) + " E 0 s.t. D = A + E 問題のo<#6"'%E%87/ ! min A * + " E 1 s.t. D = A + E 固有値の絶対値の和 ! John Wright, Arvind Ganesh, Shankar Rao, Yigang Peng, and Yi Ma, “Robust principal component analysis: exact recovery of corrupted low-rank matrices via convex optimization”, NIPS, 2009 75 ノルム最小化とノイズ • o=ノルム! – ノイズを正規分布と仮定! • o0ノルム! – ノイズを一般化正規分布で仮定! p % % ( ( x + µ " p( x ) = exp' +' * * ' & # ) * % ( 2#$' 1 "* & ) & ) そもそもノイズが一般化正規分布に従うといえる理由は? • oRノルム! ! – ??? スパース表現、I7$06"--"C!-"/-&/gi! kノイズの性質が入る要素がない? 76 おまけ 77 おまけ:ノイズと到達運動 • 人間らしいリーチング動作! – 躍度最小化! – トルク変化最小化! – 終点分散最小化!(!生体ノイズを考慮した上で到 達位置の誤差を最小化する 生体ノイズの分散もシグナルの大きさに依存 Christopher M. Harris and Daniel M. Wolpert, “Signal-dependent noise determines motor planning”, Nature, Vol. 394, pp. 780-784, 1998. 78 まとめ • • • • • 画像化プロセスと画像ノイズモデル! 画像ノイズの取得! レスポンス関数・FGH画像! 画像ノイズ・画像化プロセスを利用した推定! 画像ノイズからみるモデル推定手法! 79 (個人的な)疑問 • ノイズのモデリングとoRV!o<ノルム最小化との 関係は? 80 T3%/+!f7B!D76!f7B6!+&/C!%4"/87/q 81
© Copyright 2024 Paperzz