デジタルカメラにおける画像処理 河村 尚登 宇都宮大学オプティクス教育研究センター 〒321-8585 栃木県宇都宮市陽東 7-1-2 E-mail: [email protected] あらまし デジタルカメラは風景や人物の写真を撮る他にも，モバイル系の 3 次元入力装置として工学・ 医学・天文分野等の様々な方面で利用されている。入力装置としての基本機能は，カラー画像を正確に読み 取り再現することで，その上でユーザの好みに合わせた画像を作る「絵作り」の機能や，綺麗な画像を撮影 する為の機能，失敗画像を防ぐための機能などが搭載され製品の付加価値を高めている。ここでは，入力装 置としての解像度，階調性，色特性等の基本特性/基本機能を達成する為の技術と，絵つくりのための仕組み， 顔検出や様々な画像処理技術について解説する。 キーワード デジタルカメラ，デジカメ，入力装置 Image Processing Technology in Digital Camera Naoto KAWAMURA Utsunomiya University Center for Optical Research & Education 7-1-2，Yoto，Utsunomiya-city，Tochigi，321-8585，Japan E-mail: [email protected] Abstract Digital Camera is used not only as an image capturing device for people and landscape, but also as an input device for 3-dimensional objects in engineering, medical and astronomical fields. Therefore, it is important to keep highly accurate capturing capability as a basic image capturing device , then to customize for user’s favorite colors and textures. This means that sufficient resolution, gradation and colors should be obtained to reproduce high quality images, then achieved to introduce extended or additional functions. In this document, firstly fundamental image processing technologies in digital camera are described then, the extended technologies is introduced. Keyword Digital camera, Input device, Image capturing device １．はじめに デジタルカメラは風景や人物の写真を撮る他にも， ２ ． 入 力 装 置 と し て の要 件 ２ .１ 色再 現 と ルー タ （Luther） 条 件 立体物の入力装置として工学・医学・天文等，様々な カラー画像を正しく再現するには，入力時に画像を 分野で利用されている。カラー画像を正確に読み取り 正しく読み取る必要がある。３色のセンサによる画像 再現することを基本技術とし，その上でユーザの好み の読み取りは，原稿や被写体に忠実に色再現されるた に合わせた画像を作る「絵作り」の機能や，綺麗な画 めには測色的に以下の事項が守られなければならない。 像を撮影する為の機能，失敗画像を防ぐための機能等 １．画素データが入射光量に比例していること が搭載され製品の付加価値を高めている。 ２．センサのホワイトバランスが取れていること カラー画像を正しく再現するには入力時に画像を ３．3 センサの分光感度がルータ条件を満たすこと 正しく読み取る必要がある。このためには，解像度特 すなわち，入力系としてはγ＝１のリニア系で，高輝 性，階調特性，色再現特性等の基本特性を満たす必要 度でも飽和しない高ダイナミックレンジである必要が がある。特に，三原色のセンサによる画像の読み取り ある。また，ホワイトバランスは標準白色を入力した は，原稿や被写体の色再現域を制限する為，測色的条 時に正しい白が得られるように，3 つのセンサのゲイ 件を満たす必要がある。 ン を コ ン ト ロ ー ル す る 必 要 が あ る 。画 像 入 力 (撮 像 )は ， RGB セ ン サ の 分 光 特 性 に 依 存 す る が ，入 力 系 の セ ン サ x 0.5767 0.1856 0.1882 r AdobeRGB y = 0.2973 0.6274 0.0753 g AdobeRGB z 0.0270 0.0707 0.9913 b AdobeRGB 分 光 感 度 を 評 価 す る ル ー タ （ Luther） 条 件 は ， 次 の よ う に 言 い 表 さ れ る 。「 セ ン サ に よ る 測 色 の 分 光 感 度 は ， 錐 体 感 度 の 線 形 変 換 に な っ て い な け れ ば な ら な い 。」 通 常 ， 入 力 セ ン サ は ， R,G,B の 三 色 系 で 用 い ら れ る 。 (4) となる。 こ の R,G,B が 厳 密 に ど の よ う な 種 類 の も の を と る の か で，特性が異なる。しかしながら，どのような色空間 を取ろうと，目標となる分光感度は錐体分光感度の線 形変換になっていなければならない。 ２ .２ 入 力系 の 分 光感 度 1） 図 １ に 様 々 な RGB 色 空 間 を 示 す 。通 常 ，sRGB 色 空 間 が デ フ ォ ル ト で あ る が ，近 年 よ り 広 い AdobeRGB 色 空間を用いることが多くなった。 （Ｂ） AdobeRGB 拡張色空間 （Ａ） sRGB色空間の等色関数 Wide Gamut RGB (700/525/450） 図２ 色空間と等色関数 Adobe RGB ２ .３ sRGB 色 補正 法 実際のデジカメのカラーフィルタは負の領域は作れ ないので，補正が必要である。補正方法としては，以 下の方法が，通常行なわれる。 （１）光学フィルタによる補正 sRGB 色 空 間 で の 入 力 で は ，図 ３ に 示 さ れ る よ う に エ D65 メラルドグリーン色のフィルタを用いて，赤の負領域 を検出し補償する方法が用いられることがある。 3.0 3.0 2.5 等色関数 図１ 各 種 RGB 色 空 間 sRGB へ の 変 換 式 は 以 下 の 通 り 。 (2) 1.0 g sRGB y 1.5 B 1.0 x 0.5 0. 0. -0.5 -0.5 ３８０ R G -1.0 ４６０ ５４０ ６２０ ７００ 波長（nm) ３８０ ４６０ ５４０ ６２０ ７００ 波長（nm) 図３ エメラルドグリーンのフィルタによる補正 𝑧̅の 等 色 関 数 が 𝑥̅ の 負 領 域 を 検 出 す る の で ， こ れ を 用 い る こ と も あ る 。但 し ，𝑥̅ , 𝑦�, 𝑧̅フ ィ ル タ は RGB 色 空 間 へ 変 換しなければならなくて，煩わしいので計測器のみ用 いられる。 （２）カラーマトリックス演算による補正 図 ４ に 示 す よ う に ， 出 力 値 に ３ ×N の マ ト リ ッ ク ス （ ２ ） AdobeRGB 色 空 間 の 分 光 感 度 演算を施し，マトリックスの係数を選ぶことにより正 AdobeRGB へ の 変 換 式 は 以 下 の 通 り 。 等色関数を図２（Ｂ）に示す。また逆変換は， 1.5 z EG 2.0 ま た ，𝑥̅ , 𝑦�, 𝑧̅の 等 色 関 数 に よ る 入 力 フ ィ ル タ の 場 合 は ， となる rAdobe 2.0416 − 0.5650 − 0.3447 x g Adobe = − 0.9692 − 1.8760 0.0416 y b Adobe 0.0134 − 0.1184 1.0152 z b sRGB -1.0 (1) 等色関数を図２（Ａ）に示す。また逆変換は， x 0.4124 0.3576 0.1805 r sRGB y = 0.2126 0.7152 0.0722 × g sRGB z 0.0193 0.1192 0.9505 b sRGB 2.0 0.5 （ １ ） sRGB の 分 光 感 度 rsRGB 3.2406 − 1.5372 − 0.4986 x 0.0415 y g sRGB = − 0.9689 1.8758 b sRGB 0.0557 − 0.2040 1.0570 z 2.5 r sRGB しい出力値に近似するように補正する方法である。マ (3) ト リ ッ ク ス の 次 元 数 と し て ， ３ ×３ ， ３ ×６ と ， ３ ×N の N の 次 元 数 を 上 げ て い く と 精 度 は 向 上 す る が ，演 算 速 度 は 下 が る 。 式 (５ )は ３ ×９ の 演 算 を 示 し た も の で ， 二次の項までの補正を行なっている 3 つの等色関数が張る部分空間に含まれる。この等色 sRGB マトリックス演算 DeviceRGB センサ光学フィルタ 関数が張る空間を「視覚空間」と呼ぶ。 R a00 a01 a02 a03 a04 R G a10 a11 a12 a13 a14 G B a20 a21 a22 a23 a24 B 今 ， 41 次 元 の ベ ク ト ル 空 間 の 正 規 直 交 基 底 を ， 𝒆 𝟏 , 𝒆𝟐 , ⋯ , 𝒆𝒏 と す る 。 こ の う ち ， 最 初 の ３ つ の 基 底 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑 が ， 等 色 関 数 の 部 分 空 間 に 対 応 す る も の と す る。正規化された（つまりベクトル長が１の）センサ 感 度 を 𝐒と し ， 𝐒 を こ の 直 交 基 底 で 展 開 す る と ， 図４ カラーマトリックス演算 r ' a00 g ' = a10 b' a 20 a01 a11 a02 a12 a03 a13 a04 a14 a05 a15 a06 a16 a07 a17 a 21 a 22 a 23 a 24 a 25 a 26 a 27 r g b a08 r 2 a18 g 2 a 28 b 2 rg gb br 𝐒 = 𝑎1 𝒆𝟏 + 𝑎2 𝒆𝟐 + 𝑎3 𝒆𝟑 + ⋯ + 𝑎41 𝒆𝟒𝟒 (6) ここで， |𝒆𝑖 | = 1, 𝒆𝒊 𝒆𝒋 = 𝛿𝑖𝑖 , |𝑺| = 1, 𝑎𝑖 = 𝑺 ∙ 𝒆𝑖 (7) で あ る 。こ の と き ，q-factor は 以 下 の 式 で 表 わ さ れ る 。 (5) （ ３ ） ル ッ ク ア ッ プ テ ー ブ ル (LUT)に よ る 補 正 q= a12 + a22 + a32 41 ∑a i =1 (8) = a12 + a22 + a32 2 i こ の q-factor が 0.9 以 上 で あ れ ば ， ま ず ま ず の 色 再 現 が得られると言われている。実際にこの計算を行なう マトリックス演算を関数近似した場合，次数をどこ まで取るかで精度が異なる。高精度にするために高次 の関数近似を用いた場合，ハード化による高速処理が 難 し く な る 。一 方 ，ル ッ ク ア ッ プ テ ー ブ ル（ LUT）形 式 にすることにより，実測データによる高次の補正が可 能 と な る 。し か し RGB ３ 入 力 値 の 全 空 間 を テ ー ブ ル で 持 つ に は 大 き な メ モ リ 量 と な る 。 こ の た め LUT の デ ー タ 格 子 点 は 粗 く と り 補 間 処 理 が 行 わ れ る 。 LUT 方 式 の メリットは，様々な目的に合った色調，色空間を選択 し目的にあったプロファイルを作成することができる 点にある。レンダリングインテントとしては， Perceptual/ Colorimetric/ Saturation 等 に 対 応 し た LUT が 使 わ れ る が ，そ の 他 AdobeRGB や WideGamut 等 の 色 空 間 に 変 換 機 能 を 含 ま せ た LUT も 可 能 で あ る 。 ためには，等色関数の張る部分空間の正規直交基底 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑を 求 め る 必 要 が あ る 。こ の 求 め 方 と し て ，等 色 関 数 𝑥̅ , 𝑦�, 𝑧̅を 用 い て Gram-Schmidt の 直 交 化 法 か ら ， � 𝒙 ��� 𝒆1 = |𝒙| � � −(𝒚 𝒚 � ∙𝒆 ���)∙𝒆 𝟏 ��� 𝟏 ��� 𝒆𝟐 = |𝒚 (9) ���)∙𝒆 � −(𝒚 � ∙𝒆 𝟏 ���| 𝟏 𝒛�−(𝒛�∙𝒆 ���)∙𝒆 �∙𝒆 ���)∙𝒆 𝟏 ���−(𝒛 𝟏 𝟐 ��� 𝟐 ��� 𝒆𝟑 = |𝒛 ���)∙𝒆 �∙𝒆 ���)∙𝒆 �−(𝒛�∙𝒆 𝟏 ���−(𝒛 𝟏 𝟐 ���| 𝟐 �は 𝒆𝟏で ，𝑦�は 𝒆𝟏と 𝒆𝟐で ， の よ う に 求 め ら れ る 。つ ま り ，𝒙 𝑧̅は 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑で 表 わ さ れ ， 等 色 関 数 の 3 つ の ベ ク ト ル は 基 本 ベ ク ト ル 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑 か ら 成 り 立 っ て お り ，そ れ 以 外 の ベクトルは存在しない。 B e3 ２ .４ 入力 系 の 測色 的 評 価 G e2 ルータ条件では，測色の感度は等色関数の線形変換 R になっていなければならないが，様々な制約から，実 際の分光感度は等色関数の線形変換から外れているこ とが多い。そこで，等色関数からのずれを定量的に評 e1 図５ 等色関数の基本ベクトル展開 価 す る 指 数 と し て ， Neugebauer の 測 色 的 品 質 係 数 （ quality-factor，通 常 q-factor と 呼 ば れ る ）が 良 く 使われる。センサの分光感度が等色関数の線形変換か らどの程度近似できるのかを評価基準としている。ｑ フ ァ ク タ が １ に 近 い ほ ど 品 質 が 良 く ， q > 0.9 で良い 色再現をする。 （ １ ） Neugebauer の 測 色 的 品 質 係 数 等 色 関 数 は ， 41 次 元 (可 視 域 を 10nm 事 に 41 分 割 し 任 意 の ベ ク ト ル 𝐒 を こ の 基 本 ベ ク ト ル 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑 で 展 開 し た 式 （ 6） は ， こ の 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑 の み で 表 現 さ れ て お れ ば等色関数の線形変換であると言えるが，それ以外の 𝒆𝟒 , 𝒆𝟓 , 𝒆𝟔 , ⋯… が 含 ま れ て お れ ば ，線 形 変 換 か ら ず れ て く る 。 従 っ て ， 式 （ 9） は 展 開 係 数 の 𝒆𝟏 , 𝒆𝟐 , 𝒆𝟑 に 相 当 す る 部分の強度の割合を表すもので，等色関数の線形変換 の近似度を定量的に表す指数となっている。別の言葉 た 場 合 )の ベ ク ト ル 空 間 内 で ，1 つ の ベ ク ト ル と し て 表 で 言 う と ， Neugebauer の q-factor は ， セ ン サ 感 度 の される。3 つの等色関数は，このベクトル空間で 3 つ ベクトルが視覚空間に射影したベクトルの二乗和であ のベクトルで表わされ，任意の色はこの 3 つのベクト ると言える。 ルにある加重をかけて合成したものであるので，この Neugebauer の 測 色 的 品 質 係 数 q フ ァ ク タ は ，各 チ ャ ンネル単独の評価値であり，カラー全体としての評価 赤のサンプリング点では大きな変化が生じるが，位相 は で き な い 。通 常 カ ラ ー セ ン サ は R,G,B3 チ ャ ン ネ ル の をずらした青のサンプリング点では出力信号に変化が セットで用いられるので，３センサの個別の q ファク 生じない。このように位相によって出力値に変化が生 タ 𝑞1 , 𝑞2 , 𝑞3 か ら ， じモアレ現象が起きる。これを図７に沿って定量的に 𝑞 = (𝑞1 + 𝑞2 + 𝑞3 )/3 (10) 見てみよう。 と拡張する場合もある。 ２ .５ 画像データ サ ンプ リ ン グと レ ス ポ ンス 特 性 L(ｘ) （A） （１）サンプリングの定理 S(ｘ) 空 間 周 波 数 成 分 を f と す る と ， 2f よ り も 高 い 空 間 周 波数でサンプリングしなければならない。」とされて い る 。 2f よ り 低 い 周 波 数 で サ ン プ リ ン グ し た 場 合 は ， X0 X１ （B） n=0 1 センサ出力：L(ｘ)S(ｘ) 折 り 返 し 雑 音 (折 り 返 し 歪 み ，エ リ ア シ ン グ エ ラ ー と も x λ=1/f =2π/ω サンプリングの定理では，「原信号に含まれる最大 2 3 4 5 x 言 う )が 発 生 す る 。 そ の 結 果 モ ア レ パ タ ー ン （ moiré pattern） が 現 れ ， 原 信 号 に は 無 い 雑 音 が 生 じ る 。 サ ン プリング定理では，画像のサンプリングピッチ X は， （C） x 画 像 の 最 大 空 間 周 波 数 を B(cycle/mm)と す る と ， X≦ 1/(2B) (11) サンプリングされた 画像データ V00 を満たす必要がある。最大空間周波数 B を正弦波の波 と し １ 周 期 の 空 間 距 離 を λ (mm)と す る と ，B=1/λ よ り ， V05 （D） V01 V02 V03 V04 式 (11)は ， x X≦ λ /2 (12) 図７ となる。即ち，図 7 の赤矢印に示されるように最大空 間周波数の山と谷にサンプリング点が来る。 B=1/(2X) (13) を ナ イ キ ス ト 周 波 数（ Nyquist frequency）と 呼 ぶ 。前 述の折り返し雑音を除去するためには，画像をサンプ リングする前に高域カットフィルタによりナイキスト 周波数以上の成分をカットしなければならない。これ 空間周波数を変化させた正弦波パターンを 1 次元的に セ ン サ で 読 み 取 る と す る 。画 像 デ ー タ を L(x)，セ ン サ の 空 間 位 置 に 対 す る 光 感 度 分 布 を S(x)と す る (こ れ を ア パ チ ャ 関 数 と も 呼 ぶ )と ， セ ン サ か ら の 出 力 V ０ は 以 下の式で表される。 V0 = ∫ L( x) ⋅ S ( x)dx をせずに，後から除去しようとしても低域成分に折り 返し雑音が重畳し，分離できなくなってしまう。 （２）レスポンス特性 センサからの出力 (14) 今 ， L(x)を 余 弦 分 布 と 考 え て ， 1 L( x) = {1 + cos(ωx + θ )} 2 2） センサ幅はナイキスト周波数には直接は関係がない。 (15) そ れ で は セ ン サ 幅 は ど の よ う な 影 響 が あ る で あ ろ う か 。 但 し ， ω は L(x)の 空 間 角 周 波 数 ， θ は 位 相 差 と す る 。 一般に，高域カットフィルタでナイキスト周波数以 セ ン サ 受 光 セ ル の ピ ッ チ を x 0 (=2π /ω ０ )， セ ン サ 開 口 上をカットすればモアレが全然発生しないとは言えな 部 の 幅 を x 1 と す れ ば ，セ ル 番 号 ｎ の セ ン サ か ら の 出 力 い。図６の青矢印はサンプリング点を，位相を変えた V0 n は ， 以 下 の 式 で 表 さ れ る 。 ときの状態を示したものである。 V0 n = 輝度データ サンプリング点１ サンプリング点２ X = 白 θ 黒 x λ(mm) 図６ サンプリング点とレスポンス 1 2 1 x1 + nx0 2 ∫ {1 + cos(ωx + θ )}dx 1 − x1 + nx0 2 x1 sin(ωx1 / 2) ω {1 + cos( 2πn + θ ) ⋅ } ω0 ωx1 / 2 2 アパチャレスポンス n=0, ±1, ±2, ±3, ･･･ (16) 式 （ 16） の 余 弦 項 は 開 口 に よ る サ ン プ ル 列 を ， 正 弦 項 は 開 口 に よ る 減 衰 項 で ，ア パ チ ャ レ ス ポ ン ス と 呼 ば れ ， ３ . デジ タ ル カ メ ラ の構 造 と 機 能 図９に一眼式デジタルカメラの構造を示す。デジタ 開口分布のフーリエ変換した形状となる。 次に，レスポンス特性を求める。今，角周波数ωの正 ルカメラの構成は，大きく分けると 弦 波 形 を セ ン サ で 読 み 取 っ た と き の 応 答 特 性 R（ ω ） （１）イメージセンサ は，センサ出力コントラストと入力コントラストの比 （２）光学系 で与えられ，入力コントラストを 1 とすると， （３）画像処理エンジン R (ω ) = V0 n (ω ,θ ) max − V0 n (ω ,θ ) min とから構成される。これらは，入力系の主要 3 コンポ (17) １周期中 V0 n (ω ,θ ) max + V0 n (ω ,θ ) min ーネントと呼ばれ，入力装置に関する様々な技術が集 積されている。 となる。ここで，分子の項で 1 周期中としたのは，ミ クロ領域でのコントラストを求めるためで，位相変化 により場所によって変化するためである。 1 R(ω ,θ ) = V0 n (ω ,θ ) max − V0 n (ω ,θ ) min １周期中 x1 1 sin(ωx1 / 2) ω ω = ⋅ ⋅ cos( 2πn′ + θ ) − cos( 2πn′′ + θ ) 2 ω0 ωx1 / 2 ω0 （ 18） こ こ で ， n′ , n′′ は ，１ 周 期 中 で V0n の max，min を 与 え る ｎ で あ る 。式 (6.15)に ，x 0 ，x 1 を 与 え ，ω ，θ を パ ラ 図９ メータとして計算するとセンサによるサンプリング・ レスポンスが求まる。これをアパチャーサンプリング 一眼レフ型デジタルカメラ 次 に ，こ れ ら 主 要 コ ン ポ ー ネ ン ト に つ い て 説 明 す る 3) 。 レ ス ポ ン ス （ ASR） と 呼 ぶ 。 式 （ 18） は 矩 形 開 口 の 場 合であるが，それ以外の場合でもアパチャレスポンス を F(ω )と す る と ， R(ω ,θ ) = ３ .１ イ メー ジ セ ンサ (１ ) イ メ ー ジ セ ン サ の サ イ ズ CCD や CMOS の 固 体 イ メ ー ジ セ ン サ の イ ン チ 系 の サ ω 1 ω ⋅ F (ω ) ⋅ cos( 2πn′ + θ ) − cos( 2πn′′ + θ ) ω 2 ω 0 0 イズは，イメージセンサの撮像面の実際のサイズを示 すものではない。古くはテレビカメラの撮像管が入力 (19) で 与 え ら れ る 。 図 ８ は ， セ ン サ の ピ ッ チ x 0 =50μm， セ ン サ の 開 口 幅 x １ =40μm と 20μm の 場 合 の セ ン サ・レ ス ポンスを示す。センサ・レスポンスは，常にアパチャ レスポンス以下であり，位相変化により出力値が変動 装置の中心であったため，この撮像管の管径と等価な イ メ ー ジ セ ン サ の サ イ ズ を 表 し て い る 。 例 え ば ， 2/3 イ ン チ の イ メ ー ジ セ ン サ は ， 2/3 イ ン チ 撮 像 管 に 相 当 す る も の を 表 し ，対 角 11mm の も の を 指 す 。図 １ ０ に センササイズとインチ系の比較を示す。このようにす する。このためモアレパターンとなる。ナイキスト周 ることにより，従来の撮像管の置き換えができ，レン 波数以下においてもモアレ領域があることに注意する ズなどの光学系の共通化が図れる。 必要がある。また，アパチャの幅ｘ１を小さくしてい くとモアレの領域も増大することがわかる。 X0=50μm X1=20μm X1=40μm アパチャレスポンス モアレ 領域 モアレ 領域 図１０ センサのサイズの比較 (２ ) CCD と CMOS セ ン サ fN Cycle/mm fN 図８ アパチャレスポンスと ア パ チ ャ サ イ ズ の 影 響 （ X0=50 𝜇𝜇） Cycle/mm 固 体 イ メ ー ジ セ ン サ は ， 大 別 す る と ， CMOS (Complementar y Metal Oxide Semiconductor)セ ン サ と ， CCD(Charge Coupled Device)セ ン サ に 分 類 で き る 。表 １ 図１２ にそれぞれのセンサの特徴を記す。 ＣＭＯＳ ＣＣＤ 感度 ノイズキャンセルにより感度アップ可能 高い感度 ノイズ特性 ノイズキャンセル回路でＣＣＤと同等 ノイズ少 同時性 スイッチングシフトによる時間差 時間差なし（同時性保証） 電源 低消費電力、単一電源（３.３Ｖ） ２電源（１５Ｖ，３.３Ｖ）必要 機能 ロジックＳＯＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）可能 － 表１ 両方式の再現帯域 (４ ) デ ・ モ ザ イ ク 処 理 カラーフィルタを介して出力された生の画像デー タ を RAW デ ー タ と 呼 ぶ 。こ れ を RGB3 面 の 画 像 デ ー タ に 変換する必要がある。この処理をデ・モザイク処理と CCD お よ び CMOS セ ン サ の 特 徴 呼ぶ。このとき，空いた画素を埋めるための処理が必 CCD セ ン サ は ， 感 度 が 高 く ノ イ ズ が 少 な い と い う 特 徴があるが，複数の電源電圧を必要とし，消費電力が 比 較 的 高 い 。 一 方 ， CMOS セ ン サ は ノ イ ズ の 問 題 が あ る が ， 消 費 電 力 が 小 さ い こ と ， CMOS で あ る た め ロ ジ ッ ク SOC の 搭 載 が 可 能 で あ る な ど の 特 徴 が あ る 。以 前 は ，こ の ノ イ ズ の 問 題 か ら CCD セ ン サ が 主 流 で あ っ た が，近年の技術革新によりノイズキャンセラー回路の 導 入 に よ り ノ イ ズ 低 減 が 図 ら れ た 。 CMOS セ ン サ は 他 に様々な利点があるため今後が期待される。 要となる。この画素を埋めることは補間処理と呼ばれ る 。図 １ ３ (B)に お い て ，緑（ G)の デ ー タ の 補 間 は ，周 囲 ４ 個 の 画 素 ブ ロ ッ ク か ら 中 心 の 画 素 （ X)の 値 を 計 算 により求める。４つの角の画素は外側のブロックから 求まる。補間方法としては，色間の相関を用いて高画 質化を図るものもある。補間処理の方法によってはエ ッジに色がついたり，画質が劣化したりする。補間方 法は画質に影響を与えるため，各メーカが独自の方法 で高画質化を競っている。このデ・モザイク処理によ り ， 画 像 デ ー タ 量 は R,G,B の 3 チ ャ ン ネ ル の 画 像 と な (３ ) セ ン サ の 画 素 配 列 センサでのカラー読み出しは，センサ上にモザイク り ， デ ー タ 容 量 は RAW デ ー タ の ３ 倍 に 増 大 す る 。 状に配置されたカラーフィルタにより行なわれる。カ 緑（G)データ ラーフィルタの画素配列はメーカや機種により異なる。 赤（R)データ 青（B)データ RAWデータ R G R G G B G B R G R G G B G B G G G G G G G R B R B G B R B R G G X G G G G G G G R Z R Y X R R R R R R R R R （A) （A）Bayer型 図１１ 図１３ センサの画素配列 （ A） は ０ °方 向 に 並 ん だ Bayer 型 ，（ B） は 45°方 向 に 並 ん だ Hone ycomb 型 で あ る 。 RAW デ ー タ は こ の 水 平方向の信号を取り出したものである。両方式におい て，画素ピッチがまったく同じであれば両方式とも再 現帯域は同じであるが，人間の視覚感度が水平と垂直 方 向 に 敏 感 な た め ， 図 1２ に 示 す よ う に Honeycomb 配 列の方がその方向に帯域が広いため有利となる。 Bayer配列の再現帯域 R G R G G B G B R G R G （B) （B）Honeycomb型 G B G B 45度回転 G R B G G R B R B G G G R B G 能となってきた。高感度化を実現するため，センサや マイクロレンズの開口率を上げ，ノイズの低減などが 図 ら れ て い る 。 CMOS タ イ プ の セ ン サ で 「 裏 面 照 射 型 」 に よ り 高 感 度 を 実 現 し た も の も あ る 。こ れ は CMOS セ ン B 入射光 G G ｆｙ 入射光 R B R B G 影が不可能であった夜間の野生動物の観察や記録が可 る。開口率が向上し，高感度化が図られる。 G G G G センサ感度は年々向上している。このため従来は撮 シリコン基板の裏面から光を取り込む構造になってい R B R センサ感度 サの配線層の遮光によって生じる光量ロスを防ぐため， Honeycomb配列の再現帯域 G (５ ) デ・モザイク処理 G マイクロレンズ カラーフィルタ マイクロレンズ カラーフィルタ 電極配線 フォトダイオード （受光部） fy G再現帯域 RB再現帯域 fpy ｆｘ fpx フォトダイオード （受光部） 電極配線 fx 表面照射型(従来方式） Gray再現帯域 図１４ 裏面照射型 通常のセンサと裏面照射型センサ ３ .２ と な り ，焦 点 深 度 は F ナ ン バ ー が 大 き い ほ ど（ つ ま り 光 学系 絞りを絞っていくほど）深くなる。物体側の深度（被 （１）レンズの特性 写 界 深 度 ） は ， 縦 倍 率 を L， レ ン ズ か ら 物 体 ま で の 距 画像形成において光学系は，画質を決める重要なコン 離 を a， レ ン ズ か ら 像 面 ま で の 距 離 を ｂ と す る と ， 縦 倍 率 L=b 2 / a 2 ポーネントである。光学レンズの役割は， 1． セ ン サ 面 上 で の 光 学 像 の 倍 率 を 決 め る 。 2． 被 写 界 深 度 を 決 め る 。 図１５は同じ光学系を用いてセンサのサイズが異なる 場合を示したもので，センササイズが異なると，小さ い サ イ ズ の セ ン サ の 方 が ，出 力 時 の 倍 率 が 大 き く な る 。 (23) 従って，被写界深度ｄ’は， a d ' = 2( ) 2 Fφ b a− φ 2 a = 2( ) Fφ ≅ 2( ) 2 Fφ φ φ (24) と な り ，F，φ が 一 定 で あ れ ば ，f が 大 き い ほ ど ，即 ち 長焦点レンズほど被写界深度は浅くなる。被写界深度 が浅いと，背景や手前にあるものがボケて写るので， 奥行きが感じられる。 h θ’ θ θ’ h’=Mh f f’ f’=（1/M）f 図１５ 光学系と等価焦点距離 今 ，光 学 レ ン ズ の 焦 点 距 離 を f ，セ ン サ の 像 高 を フ ル サ イ ズ の 場 合 ｈ ,小 サ イ ズ の セ ン サ の 場 合 ｈ ’ と し （ h’ =Mh，０ ＜ M＜ １ 但 し M は 像 高 比 ），入 射 の 画 図１６ 光学レンズの特性 角 を そ れ ぞ れ θ ，θ ’ と し た 時 ，図 に 示 さ れ る よ う に ， 像高ｈの画角θは，像高ｈ’の場合，画角がθ’しか 図１７は焦点距離の異なるレンズで撮影したもので， 取り込めない。これはフルサイズのセンサ像高ｈに対 長焦点レンズでは背景がボケている。このためわずら 応させると見かけ上の焦点距離が わしい背景をボカして被写体を浮き立たせることが可 f ’ =(1/M) f (20) 能である。 と な る 。即 ち ，セ ン サ サ イ ズ が M 倍 に な っ た 場 合 ，見 か け 上 の 焦 点 距 離 は １ /M 倍 と な っ た よ う に 撮 影 さ れ る 。 例 え ば ， APS-C の サ イ ズ の セ ン サ の 場 合 ， フ ル サ イ ズ の 約 2/3 に な る た め ，見 か け 上 の 焦 点 距 離 は 式（ 7.1） か ら ，3/2 倍 に な る 。従 っ て 50mm の レ ン ズ で は 75mm (A)長 焦 点 レ ン ズ 相当になる。 次に，結像面における点像スポットの大きさは，光 学収差のため，広がったものとなる。今，最小錯乱円 （ 最 小 点 像 の 大 き さ ）の 大 き さ を φ（ 直 径 ）と す る と ， 像 面 で の 焦 点 深 度 ｄ （ 両 側 ） は ， 図 １ ６ （ B） よ り ， 光 学 系 の F ナ ン バ ー を F，レ ン ズ の 口 径 を D と す る と ， F=f /D (21) であるので， 焦 点 深 度 ｄ = 2 Fφ (22) (B)短 焦 点 レ ン ズ 図１７被写界深度の違いによる撮影例 レンズには様々な収差があり，光学スポット系は主に 収差によって決まる。許容される最小錯乱円は大体 30-40μ m φ 程 度 で あ る 。一 方 ，セ ン サ の 画 素 サ イ ズ は ， 200 万 画 素 の セ ン サ （ 1600×1200 画 素 ） と し て 2/3 イ ン チ → 6.6mm/ 1200=5.5mμ m 1/3 イ ン チ → 3.6ｍ ｍ / 1200=3μ m フ ル サ イ ズ → 24ｍ ｍ / 1200=20μ m で あ り ，圧 倒 的 に 光 学 ス ポ ッ ト 径 の 方 が 大 き い 。但 し ， 高解像センサの場合センサピッチがスポット径よ フルサイズでベイヤー型の構造であれば隣の画素とは りもはるかに小さくなれば，そのままで平滑化されて 40𝜇𝜇離 れ て い る の で ，唯 一 ，解 像 で き る 。こ の よ う に ， いるのでローパスフィルタは省略される。 センサの画素ピッチよりも光学スポット径のほうが大 （３）オートフォーカス機構 き い た め ， む や み に 高 解 像 に し て も 意 味 が 無 い 。 200 万画素より高解像になるとこの問題は顕著になる。 （２）光学ローパスフィルタ オートフォーカスを行なう方式は様々な方式があ る。図１９は，一眼デジタルカメラにおけるオートフ ォーカス機構の代表的な構成図を示す。 センサの前面には，一般に光学ローパスフィルタが 入 っ て い る 。図 １ ８ に 光 学 ロ ー パ ス フ ィ ル タ の 構 成 と ， フィルタ特性を示す。 1 hin(x) 図１９ t 光学LPF 常光 異常光 │OTF│ 0.8 0.4 まず，補助ミラーを介して光学像を焦点検出ユニッ 0.2 トに導く。焦点検出ユニットでは空間分割された一対 ｄ=kt (k:比例定数) hout(x) 0 0 0.2 0.4 0.6 0.8 (×1/d)空間周波数 複屈折による光学LPF オートフォーカス機構 0.6 空間周波数特性 （ B） ロ ー パ ス 特 性 図１８ 光学ローパスフィルタ 標本化定理により，センサの画素ピッチに相当するナ イキスト空間周波数以上の帯域をカットし折り返し歪 を除去するためのものである。このフィルタが挿入さ れないと，細かな繰り返しパターンのある画像を撮影 のラインセンサ上に光学像を二次結像させる。一方の 画像信号値を，画素位置を相対的にずらしながら，他 方の画像信号との差分の絶対値の合計を求め，その合 計 が 最 も 小 さ く な る 位 置 を ピ ン ト 位 置 と す る (即 ち ，相 関 を 求 め る )。焦 点 が 合 っ て い な い 場 合 は 位 相 差 が 生 じ る。この位相差を計測することにより，ずれた方向と 量を求め，焦点を合わせることができる。 （４）手振れ補正（防振）光学系 した場合，モアレ縞が生じる。これは，一般に，水晶 望遠レンズ等の長焦点距離のレンズで撮影した場 などの複屈折性の材料を用いて，所定量だけずらした 合や，乗り物の上で撮影した場合，手振れが生じ，撮 2 重の画像を作ることによってローパス特性を得る。 影画像が流れることが多い。手振れ補正は大きく分け 最 初 の 水 晶 板 LPF1 を 通 っ た 自 然 光 は 複 屈 折 に よ り て光学方式と本体方式とがある。光学方式は，図２０ 上下に光が分離される。このとき互いに直交した直線 に示されるように，ジャイロセンサ（角速度センサ） 偏 光 と な る 。次 に λ /4 板 に よ り 位 相 制 御 を 受 け ，直 線 で，2 軸分の角速度を測定し，検出した手振れ量に応 偏 光 が 円 偏 光 に さ れ ， 第 2 の 水 晶 版 LPF2 に 入 射 す る 。 じて撮影中に，光学レンズの内部の一つを光軸と垂直 LPF2 は LPF1 と 直 交 す る 方 向 に 配 置 さ れ ， 今 度 は 光 を 面の方向にシフトさせ補正を行なう。センサや機構部 左 右 方 向 に 分 離 す る 。 LPF1,LPF2 の 作 用 に よ り ， 入 射 品などが必要となり部品コストがかさむ事と，鏡筒内 光は上下，左右に分離され，2 次元的にローパスをか にレンズを動かす機構部品を備えるので鏡筒が大きく けられた点像を形成する。変位量は水晶版の厚みｔに なるのが課題である。一方，本体方式はジャイロセン 比例する。厚みｔを調整し，光学点像が約 2 画素サイ サでカメラのぶれの量と方向を感知し，高速演算した ズ （ Bayer 型 配 列 の 場 合 ） に な る よ う に 調 整 さ れ る 。 補正値に基づき撮像素子をシフトする。レンズに応じ てシフト量を計算されるが，望遠レンズで長焦点距離 型が必須であったが，ミラーレスにすることにより凹 となるとシフト量が大きくなり，機構の負担が大きく レンズを取り去ることが可能となり，レンズの小型化 なるという課題がある。表２に両者の比較を示す。 軽量化が可能となる。 ３ .３ 画 像処 理 エ ンジ ン デジタルカメラの中では，画像処理エンジンと称す るコントローラ部が，様々な画像・信号処理を行って いる。画像データに対する信号処理としては， 図２０ 光学式手振れ補正方式 A/D 変 換 → ゲ イ ン 調 整 → デ ・ モ ザ イ ク 処 理 → ガ ン マ 補 正 → 色 変 換 ・ 色 補 正 → 解 像 度 変 換 → JPEG 圧 縮 長所/短所 レンズ方式 本体方式 ・長焦点レンズほど効果大 ・レンズ毎に最適設計可 ・レンズコストＵｐ。レンズが大型化 （小型化が進行→コンパクト機） ・レンズに搭載不要 ・本体価格Ｕｐ ・長焦点レンズではシフト量大で負担大 ・本体にレンズ情報伝達必要 ・センサごみ取り機構との連携も可能 表 2 といった一連の処理が画像処理エンジンによって行な わ れ る 。 そ の 他 ， 自 動 露 出 (AE)処 理 ， オ ー ト フ ォ ー カ ス (AF)処 理 ，オ ー ト ホ ワ イ ト バ ラ ン ス (AWB)処 理 ，メ モ リ IO， メ カ 制 御 ， 通 信 ， USB イ ン タ フ ェ ー ス な ど 様 々 な制御が行なわれる。図２２にその構成を示す。 手ぶれ補正方式の比較 （ ５ ） Diffractive Optics 図２１に示すような回折格子を組み込んだレンズ を DO レ ン ズ ： Diffractive Optics レ ン ズ ） と 呼 ぶ 。 図２１ 図２２ 画像処理エンジン Diffra ctive Optics（ DO） 光学レンズはガラス材料の色分散性から色収差が発生 する。通常は光学設計において正負の色収差を互いに 図２３は，一眼レフのデジタルカメラにおける，画像 処理フローを示す。 打ち消しあうように設計してこれを補正するが，レン ズ枚数が多くなりコストアップや体積・重量のアップ に 繋 が る 。一 般 に ，光 学 レ ン ズ に お い て は 短 波 長（ 青 ） に対して色分散性から屈折率が高くなり屈折角が大き くなるが，回折格子では，長波長（赤）に対して回折 角が大きくなる。従って，両者を組み合わせることに より互いに打ち消しあい，色収差を補正することがで き小型軽量化を達成している。 図２３ 一眼デジタルカメラの画像処理フロー （６）ミラーレス方式 一眼レフカメラでは，跳ね上げミラーの空間を保つ ため，フランジバックを大きくすることが必要で，交 換レンズのバックフォーカスが決められている。しか しながらデジタル化によりミラーレス方式が可能とな り，レンズをセンサ直前まで配置した設計をすること が出来，小型・軽量化が可能となる。特に広角レンズ では，従来，バックフォーカスを大きくとるためにレ ンズ前群に凹レンズを配置する所謂レトロフォーカス カメラ内部での処理を画像処理エンジンが担う。コン パ ク ト デ ジ タ ル カ メ ラ と の 大 き な 違 い は ， RAW デ ー タ を 出 力 す る 点 で あ る 。 RAW デ ー タ は 通 常 ， 12～ 16 ビ ッ ト /画 素 の 非 圧 縮 の 高 階 調 な デ ー タ で ，デ・モ ザ イ ク 処 理 を 施 し て お ら ず “ 生 ” で 出 力 す る 。 RAW デ ー タ は そ の ま ま で は 使 え な い た め ，PC 上 で 信 号 処 理 が 必 須 と な る 。こ れ を 銀 塩 フ ィ ル ム に な ぞ ら え て 現 像 処 理 と 呼 ぶ 。 そのため一眼デジタルカメラの画像処理フローは，カ メ ラ 内 部 で の 処 理 と PC で の 処 理 の 両 方 が 必 要 と な る 。 パネラーを集めたパネルテストを行い，統計的に決定 （１）カメラの絵作り デ ジ タ ル カ メ ラ は ， 通 常 ， sRGB 標 準 色 空 間 が デ フ ォ ルトの色空間となっており，直接ディスプレイで見た り，プリンタで印刷したりできる。さらに広色域の する。また，時代の流行等もあるため，恒常的なパネ ルテストを実施し，修正していく必要もある。 （ ２ ） sRGB へ の 変 換 AdobeRGB を サ ポ ー ト す る も の も あ り ，よ り 鮮 や か な 色 通 常 の デ ジ タ ル カ メ ラ で は sRGB 標 準 色 空 間 が デ フ 再 現 が 可 能 で ， カ ラ ー 印 刷 に お け る RGB 入 稿 ワ ー ク フ ォルトの色空間となっている。このため出力デバイス ローでの広色域入力装置として用いられる。また，コ が sRGB 対 応 で あ れ ば 自 動 的 に つ な が り ，特 別 な プ ロ フ ンパクト型でも色や階調の再現を選択し，撮りたいシ ァ イ ル も 不 要 で あ る 。 sRGB 出 力 の た め ， γ =0.45 が 乗 ーンを撮りたいイメージで簡単に撮れる仕組みが充実 じられたデータが出力される。 してきている。通常のスタンダードのほか，肌色を重 （ ３ ） JPEG と RAW デ ー タ 視したポートレートモード，空や草木の色を重視した 風景モード，被写体の色そのものを重視した「忠実再 現モード」など，被写体に応じて細かな設定が出来る ようになり，素人でもプロ並みの画像を簡単に撮影で きるようになってきた。更に，自分の好みに合わせた カスタマイズ機能も搭載されているものもある。 色再現には一般に以下の 3 つの方法がある。 １ ． 好 ま し い 色 再 現 （ Perceptual）： 記 憶 色 に 基 づ き ， 通 常 の デ ジ タ ル カ メ ラ は ，JPEG で 画 像 圧 縮 し 出 力 す る 。こ の た め デ ー タ 量 は 1/10～ 1/20 に 圧 縮 さ れ る 。一 方 ， RAW デ ー タ は 非 圧 縮 ， ま た は ロ ス レ ス 圧 縮 で ， デ ータ量はとてつもなく大きい。 そ れ で は RAW デ ー タ の 魅 力 は ど こ に あ る の で あ ろ う か 。図 ２ ５ は 露 出 ア ン ダ ー の 画 像 を JPEG と RAW デ ー タ で撮影後，処理したものである。 （A）オリジナル画像 鮮やかで階調性を重視した色再現。コンパクトデ ジタルカメラではこれがデフォルトとなっている。 ２ ．忠 実 な る 色 再 現（ Colorimetric） ：色 差 を 重 視 し た 色再現で被写体の色を忠実に再現。報道カメラな ど利用。 露出アンダーなＲＡＷおよびＪＰＥＧ画像 ３ ．色 分 離 性 を 重 視 し た 色 再 現（ Saturation） ：グ ラ フ （B）JPEG画像からの編集 ィックスを出力するとき，鮮やかで色分離性の良 （C）RAW画像からの編集 い 色 で 出 力 す る 。CAD の 色 パ ッ チ や 線 を 区 別 す る の に必要だが，デジタルカメラでは用いられない。 図２４は好ましい色再現の例で，記憶色としては人の 肌色，空の青色，草木の緑色などがきれいに見えるよ うに設定される。 図 ２ ５ JPEG と RAW の 画 像 処 理 の 違 い 両 者 の 画 像 を 比 較 し て み る と ，図 か ら 明 ら か な よ う に ， JPEG の 場 合 階 調 性 が 良 く な い が ， RAW の 場 合 は 階 調 性 の崩れもなく高画質に処理されている。 ・好ましいイチゴの赤色 ・好ましい肌色 こ の 理 由 は JPEG の 圧 縮 ア ル ゴ リ ズ ム に 起 因 す る 。図 ２ ６ は JPEG の 圧 縮 フ ロ ー を 示 し た も の で ，画 像 デ ー タ は ダ ウ ン サ ン プ リ ン グ 後 ， ８ ×８ 画 素 の ブ ッ ロ ク 単 位 で DCT（ 離 散 コ サ イ ン 変 換 ）を 施 さ れ ，量 子 化 ，Huffmann 符号化される。このうち，画質を決定する要因はダウ ンサンプリングと量子化の部分である。 ・好ましい空色 図２４ ・好ましい草木の緑 好ましい色再現の例 好ましい色の設定は，メーカごとに独自の色作りに基 づいており公開はされていない。この色作りはデジタ ルカメラの画像品質を決めるため，各社とも，より美 しく色再現できるよう設計を行っている。好ましい色 は主観的なもので人により異なるため，一般に多くの 画像 データ ダウン サンプリング DCT (離散コサイン変換） ８X８画素 量子化 符号化 q値 図 ２ ６ JPEG に よ る 圧 縮 原 理 量 子 化 で は ， DCT 変 換 後 の 数 値 が ， 量 子 化 幅 q の ス テ ップで量子化される。これを，実際の画像ヒストグラ 様 々 な 方 法 が 提 案 さ れ て い る 4,5)。 ム で 見 て み よ う 。原 画 デ ー タ を 8 ビ ッ ト /画 素 の 画 像 と （ A） テ ン プ レ ー ト マ ッ チ ン グ に よ る 検 出 す る 。 RAW デ ー タ の ヒ ス ト グ ラ ム は 図 ２ ７ の 左 の 連 続 ウィンドウに対応した顔テンプレートとウィンドウ し た ヒ ス ト グ ラ ム と な っ て い る の に 対 し ，JPEG デ ー タ 内の画像データとの類似度を比較し，規定値より大き では，同図右側に示すように量子化により離散的なデ ければ顔と判定する。画像データは照明や肌の色など ータとなっている。 に よ り 輝 度 が 変 動 す る た め ， 事 前 に 濃 度 (輝 度 )を ノ ー 原画データ （８ビット/画素） マライズする。ノーマライズの方法としてはヒストグ ラム均等化などがある。 ＲＡＷデータのＨｉｓｔｇｒａｍ （ B） Haar Waveletや Gabor Wavelet に よ る 特 徴 抽 出 ＪＰＥＧデータのＨｉｓｔｇｒａｍ Waveletフ ィ ル タ に よ り 顔 パ ー ツ の 存 在 か ら 判 定 を 行 う方法である。特定周波数を抽出する複数のフィルタ をウィンドウ内の所定の位置に張り付け，そこからの レ ス ポ ン ス を 求 め る 。 フ ィ ル タ と し て Haarや Gaborの Waveletを 用 い る 。複 数 の フ ィ ル タ の レ ス ポ ン ス が 同 時 図２７ RAW と JPEG の 比 較 (ヒ ス ト グ ラ ム ) に 起 こ る 場 合 (共 起 性 の あ る 場 合 )顔 で あ る と 判 定 す る 。 ウィンドウ内のフィルタの大きさや位置等は， こ の た め RAW デ ー タ と JPEG デ ー タ と で は 画 像 処 理 結 果 に 大 き な 違 い が 出 る 。 こ の よ う に RAW デ ー タ は 画 像編集に対応可能な十分なビット長と階調性を保持し て い る た め ， RAW デ ー タ は 画 像 編 集 す る こ と を 前 提 と し た デ ー タ ，JPEG は 最 終 的 な 画 像 を 高 圧 縮 に し て 保 存 することを前提としたデータであると言える。 具 体 的 に は ，位 置 や 大 き さ を 変 え た Wavelet フ ィ ル タ を生成し，様々な組合せの中で学習サンプルを識別す る確率がもっとも高い組を選ぶ。但し，選んだ組合せ だけでは正しく識別できないサンプルも残るので，識 別できなかったサンプルに対して別の特徴の組を選び こ れ を 追 加 す る（ こ れ を AdaBoost と 呼 ぶ ）。こ れ を 何 （４）顔検出機能 度も繰り返すことで，誤りの少ない強力な判別器を作 最近のデジタルカメラで ることが可能である。 は ，顔 検 出 機 能 が 搭 載 さ れ ， フォーカス，露出，カラー （参考） バランス等を自動最適化し， Wavelet フ ィ ル タ に よ る 顔 パ ー ツ の 判 定 を ， Gabor 素人でも簡単に美しい画像 を撮影することが出来るよ Boosting と い う 学 習 ア ル ゴ リ ズ ム を 用 い て 決 定 す る 。 図 28 顔 検 出 う に な っ た 。顔 検 出 技 術 は ， 初期の頃は正面を向いた顔だけであったが，適用範囲 も横顔や回転まで可能となり，集合写真のように多く の人の顔を同時検出できるようにもなった。更に顔検 出に加え，表情の認識も行い，笑顔の時に自動的にシ ャッターが落ちるスマイルシャッター機能や，ペット Wavelet で 説 明 す る 。 Gabor Wavelet フ ィ ル タ は ， σ2 k2 k 2x2 )[exp(ik x ) − exp(− )] Filter (k , x ) = 2 exp(− 2 2σ 2 σ で現されるフィルタで，図２９に示されるように局所 化 さ れ た 波 数 フ ィ ル タ で あ る 。 波 数 ベ ク ト ル 𝑘�と 広 が りσを変えることにより特定の方向の特定の周波数成 分のみを取り出すことができる。 検出機能を搭載したものも登場している。 画像中の顔を検出するには，図２８に示されるよう に画像を矩形ウィンドウにより走査を行う。各走査位 置においてウィンドウ内に顔が含まれるか否かを判別 器により判定する。顔の大きさが異なるので，ウィン ドウ走査はサイズを変えて何度も走査する。また回転 図 ２ ９ Ga bor Wa velet フ ィ ル タ がある場合はさらに回転したウィンドウで走査する。 図３０に顔画像の抽出結果を示す。横方向のある特定 処理を高速に行うため粗く走査する方法や，前処理と 周波数のエッジを抽出し，目や睫毛の抽出を行なう。 して顔の肌色に近い領域を求め，探索範囲を狭めるこ 図３１にこのフィルタの特性を説明するため，放射状 ともある。判別器は，注目しているウィンドウ内の顔 チ ャ ー ト に 適 用 し た 場 合 を 示 す 。 Gabor Wavelet フ ィ の有無を判定する。判定のための判定ルールは，多数 ルタのパラメータを変化させ放射状チャートの特定周 の顔画像と非顔画像から学習する。個人差や照明変動 波数成分だけを抽出していることが分かる。 などの変動要因があるので，それらを吸収するため， 入力装置としての応用範囲も拡大した。高速度撮影が 可能となったことから様々な応用が生まれている。 ②パノラマ撮影 カメラを左右や上下に振るだけでパノラマ写真が 撮影できるものもある。多数の撮影画像から，自動で パノラマ画像が生成される。従来，撮影後にスティッ 図３０ チ・ソフトを用いて画像をつなぐという面倒な後処理 顔画像のパーツの抽出結果 が不要となった。 図３２に複数のフィルタを検出すべき点に張り付けて 共起性判定器を示す。顔パーツが所定の位置にあれば 強い応答があり，すべてのパーツが同時に反応を起こ せば共起性が満たされ，顔であると判定される。 ③各種フィルタ処理 被写界深度を薄くし，特定位置のみピントを合わせ 周辺をぼかすことによりジオラマ感を出す処理や，写 真を線画で描写し，スケッチ風に仕上げる処理，その ほかにも様々な画像変換や処理がカメラ内で出来るよ うになった。 ③レンズの収差補正 これまでレンズに頼ってきたインパルス応答特性 向上を画像処理補正で行なう。光学レンズによって引 き起こされる僅かな収差を，メーカ独自の画像処理で 補正する「現像処理」が可能となった。レンズで発生 する倍率の色収差などを，画像処理により自動補正を 行なうことにより色のにじみを大幅に軽減し，周辺ま でシャープに補正する。この処理により，従来の銀塩 写真以上の画質が得られる。 図３１ フィルタを変化させた時の検出結果 ４．最後に デジタルカメラは，立体画像入力装置として，表示 フィルタ１ 系や出力系へのデータを提供する。これは単に画像を フィルタ2 出力１ 出力2 出力3 フィルタ3 出力4 フィルタ4 撮影して楽しむだけでなく，計測の分野でも使われて いる。このため，統合画像処理の入力部分として重要 な位置にあると言える。 図３２ テンプレートと共起性抽出 Gabor フ ィ ル タ に 比 べ て ， Haar Wavelet の 場 合 は フ ィ ルタ演算がより簡素になるため，よく用いられる。 参考文献 1) 画 電 学 会 編 ， 河 村 ,小 野 監 修 : カ ラ ー マ ネ ジ メ ン ト （５）その他の処理・機能 ①動画機能 今やデジタルカメラでも動画対応が普通になって来 た。これまではデジタルカメラでの動画は，静止画の 延 長 戦 と し て 主 に MotionJPEG で あ っ た が ， MPEG-4 AVC/H.264 対 応 も 登 場 し ， ビ デ オ カ メ ラ と の 境 界 が な くなってきている。しかも，レンズ交換式の一眼レフ タイプでは，マクロレンズや超望遠レンズの使用によ り，ビデオカメラとは違った特殊な演出効果も得られ る 。 ま た ， 1200fps の ハ イ ス ピ ー ド 撮 影 で き る も の も ある。従来は高価な業務機材でしか撮影できなかった ものが，これを一般的な価格のデジタルカメラで超ス ローモーション動画が楽しめるようになると同時に， 技 術 ， 東 京 電 機 大 出 版 局 (2008) 2) 時 国 ， 小 宮 ；“ フ ァ ク シ ミ リ 用 固 体 イ メ ー ジ セ ン サ の 解 像 度 特 性 評 価 法 ”， 信 学 論 文 誌 ， 79/2, Vol.J61-A,No.2,pp.81-88 (1978) 3)画 電 学 会 編 ,小 松 ,河 村 監 修 : “カラー画像処理とデバ イ ス ”， 東 京 電 機 大 出 版 局 (2004) 4)三 田 雄 志 ;“ AdaBoost の 基 本 原 理 と 顔 検 出 へ の 応 用 ”, 情 報 処 理 学 会 研 究 報 告 ， CVIM,2007(42),pp.265-272 (2007) 5)堀 田 ，三 島 ，栗 田； “未知の画像に対する識別率を用 い た 顔 検 出 の た め の 特 徴 点 の 順 序 付 け ”，信 学 論 文 誌 ， Ｄ -Ⅱ ,Vol.J84-D-Ⅱ ,No.8,pp.1781-1789 (2001)
© Copyright 2024 Paperzz
