高忠実色再現画像システムの概要 JEITA FPD 人間工学シンポジューム 2014. 3. 7 下平美文静岡大学イノベーション社会連携推進機構本講演の構成１．忠実色再現画像システムの概要２．広色域画像の規格およびデバイスの例３．色校正、色再現特性の評価を容易にする電子色票の標準化１．忠実色再現画像システムの概要目的：被写体の色と等しい色を画像として再現したいなぜか？：美しい花を離れた場所にいる人に見せたいインターネットで洋服や化粧品を購入したい遠隔医療を普及させて医療過疎の不便を軽減したい工業製品の品質（色）を何時も同じように管理したい・・現在の画像機器はその要求を満たしていますか？？どうすれば、忠実な色再現ができるか＞＞＞方法はあるのか Yes, we can !! どんな方法？？１．測色的に撮影をする：色信号（XYZ）を入出力で等しくする現状の画像機器では各メーカーが独自の色変換を行っている（Xi,Yi,Zi ≠ Xo,Yo,Zo 非線形変換である）２．表示も測色的に行う：入力の色信号と、表示される色信号を等しくする（現状の機器は、各メーカーが独自の色変換（絵作り）をしている）撮影から表示まで統一してその方針を貫かないとできない具体的にどんな方法があるのか？撮影：１．等色関数感度のカメラを使う（私どもの方法）人の色感度に等しい感度のカメラを開発する（物体ｘ光源）ｘ等色関数（カメラ）＝色信号２．マルチスペクトル方式のカメラを使う物体の分光反射率を知る物体ｘ光源ｘマルチスペクトルカメラ＝反射率推定（推定反射率ｘ光源）ｘ等色関数＝色信号表示：入力の色信号に比例した色信号で表示 LCDの様に非線形のデバイスは特に駆動に工夫がいる被写体の生花開発したXYZカメラ出力の色度分布 s-RGBカメラ出力の色度分布例色域が狭く、分布の形も異なる（有）パパラボ提供基本的な考え方錐体のスペクトル感度: L, M, S を元にする：細胞レベルの反応 S 光電変換部 M L 光電変換部 Spectral sensitivity of cones, L, M and S. From G. M. Johnson and M.D. Fairchild. 桿体錐体（高感度・明暗）（色・明るさ）文献１：より L,M,S の透過光は通常思い浮かべる赤、緑、青の色とは異なる。（文献4：樋渡涓二編著、“視聴覚情報概論”、昭晃堂より）この情報が全ての色知覚の源である。色覚の心理物理特性を元にする：脳の機能が働いた後の特性 Color matching functions: 等色関数：スペクトル光観察窓（二分視野）完全拡散面目３つの原色 Color matching experiments. 等色実験の方法 λ(nm) RGB 等色関数 (1931) 実験に用いた >> 435.8nm, 546.1nm, 700nm ３つの原色 (B ) (G) (R) 文献２：大田登著：“色彩工学”、東京電機大学出版局より色光の輝度が等しくなる線形変換（座標回転） L=lR・ R + lG・ G + lB・ B = K (lX・ X + lY・ Y + lZ・ Z) 明度係数を使うＲＧＢの基礎刺激（１１１）がＸＹＺの（ＫＫＫ）の時等しいとする =1・R + 4.5907・G + 0.0601・B = K ( 0 + 1 + 0 ) ∴ K = 5.6508 （XYZ表色系の定義） X 0.4900 0.3100 0.2000 Y = 5.6508 ・ 0.1770 0.8124 0.0106 Z 0.0000 0.0100 0.9900 R ・ G B この関係式はCIEの定めた原色、700nm, 546.1nm, 435.8nmついてのみ成り立つすなわち、R、G、Bが異なればマトリクス係数は異なる！＜＜（要注意）（上記の関係式はCIE1931に定めたRGBに対してのもの） Y y G R Z RGB 座標からXYZ座標への変換 (巧妙な線形座標変換：Yは輝度を表す) X, Y, Z : Imaginary primary colors B x X XYZ 表色系におけるx y 色度座標（文献３）馬蹄形の中の色を私達は見ることができる No negative region XYZ 表色系における視覚色域と等色関数 2deg. field Matching function in XYZ color system 10deg field xy chromaticity coordinate X = X / (X+Y+Z) （文献３：池田光男著、“色彩工学の基礎”、朝倉書店）より XYZ 三刺激値のYは完全拡散面の値が100となるように正規化どの様にすれば測色的な色情報が撮れるか？ 1 S1 S2 S3 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 S2 S3 S1 1 Relative sensitivity Relative Sensitivity Make three filters that have equivalent spectral sensitivities to color matching functions, the bases of the vision characteristics. 0.8 0.6 0.4 0.2 0 0.1 0 360 410 460 510 560 610 660 710 760 810 Wave length [nm] XYZ color matching function 線形座標変換 400 500 600 700 Wave length (nm) Relative spectral sensitivity equivalent to the matching function. Solid lines: measured data, Doted line: theoretical data 0.8 522nm 0.8 532nm 542nm 512nm 552nm 0.6 562nm 503nm Visible region sRGB 3by9 Spectrophotometer Camera Visible region sRGB Spectrophotometer camera 0.6 572nm y 582nm y 592nm 0.4 0.4 602nm 493nm 612nm 613nm 623nm 674nm 0.2 483nm 0.2 473nm 0.0 396nm 0.1 0.2 0.3 x 0.4 0.5 0.6 0.7 0.1 0.2 0.3 x 0.4 0.5 0.6 0.7 試作静止画カメラの色取得特性（XYZ信号出力）静止画カメラ 4008X2672画素・広色域平均色差: 0.86 ( CIDE2000) ・S/N ～60 dB Results: The elements of the matrix were determined using multiple regression analysis between camera outputs and measured data of Macbeth charts and clothing samples. Macbeth charts. Clothing samples of which colors are spread over wider range of gamut. Vision Research Lab. 標準光源について D65光源 Standard light sources （文献３）開発した初期動画カメラ：測色的色再現 0.6 v' 0.4 0.2 可視領域オリジナルの色情報取得した色情報 HDTVの色域 0 0 有効画素数： 3 CCD 水平１２８０×垂直１０２４画素 0.2 u' 0.4 平均色差：2.16 （ HDTV色域内：1.23 ） 0.6 12 分光放射輝度[mW/(sr･㎡･nm)] 分光放射輝度[mW/(sr･㎡･nm)] 光源の種類：近年はLEDも加わり、その照射スペクトルは多種多様になっている D65 A Cool White 10 8 6 4 2 0 400 450 500 550 波長[nm] 600 650 700 45 40 TL84 Horizon 35 30 25 20 15 10 5 0 400 450 500 550 波長[nm] 光源特徴 D65 北窓昼光でなだらかな分光分布 A 家庭用の電球の光 Cool White 一般的な蛍光灯の光 TL84 急峻なスペクトルを持った光 Horizon 夕暮れの光で色温度が低い 600 650 700 ディスプレイの課題（厳密色管理）課題：１．入力に対して表示の輝度や色を線形な関係で表示通常のテレビ：メーカーごとに異なる非線形表示表示デバイスの持つ非線形性２．ディスプレイの色域はどれくらい必要かテレビの現状: sRGB 、xv YCC、SHV の色域あるいはAdobe RGB, シネマRGB の色域私たちが試みた色変換精度を上げる方式その１－１ XYZin n=1 R XR128 XG128 XB128 G ＝ YR128 YG128 YB128 ZR128 ZG128 ZB128 B X Y Z マトリクス変換 RGB信号値色変換マトリクス選択 n=n+1 （例）準備した色変換マトリクスのred が200、128、100とする TRC変換 RGB階調値 No n=2 Yes RGBout 100 0 128 100 128 210 200 255 200 redの階調値＝210となると redの選択する色変換マトリクス＝200 －１ R XR200 XG128 XB128 G ＝ YR200 YG128 YB128 ZR200 ZG128 ZB128 B X Y Z 私たちが試みた色変換精度を上げる方式その２ • 実験機器ディスプレイ：液晶プロジェクタ測定器：分光放射輝度計 • 作成した色変換マトリクス数各原色（0～255）を B DR、DG DB 分割 DB個 R • 検証色再現精度 G DR個 DR10個，DG33個，DB32個 DG個計10560個 SHIPPのカラーチャート293色のうち色域内の色を使用入力値とスクリーンに投射した測色値との差を色差で比較色変換時間 SHIPPの標準画像（4096×3072）4枚に対する色変換時間実験結果色再現精度色域内数平均色差最大色差標準偏差 Shaper/Matrix Model 185 2.83 7.43 1.52 忠実色再現方式 163 0.51 1.29 0.24 本方式 183 0.68 2.00 0.34 本方式は忠実色再現方式と同等の精度色変換時間色変換時間 Shaper/Matrix Model 0.58 忠実色再現方式 48.75 本方式 1.00 本方式は忠実色再現方式の約50分の1に低減 ≒1級色差２．広色域画像の規格およびデバイスの例現状の色域： sRGB, Adobe RGB, デジタルシネマRGB, xvYCC 広色域： NHK のSHV 方式標準化された３原色方式： LEDを使う方式レーザーを使う方式有機ＥＬ？有力候補多原色方式：４原色５原色６原色どの方式が良いか定説がないそれぞれ可能性を検討している段階再現できる色は図形で囲まれた範囲内（色域内）のものだけ s-RGB, Adobe RGB and 6 primary display の色域視覚色域より狭い： s-RGB, Adobe RGB Adobe-RGB HDTV, s-RGB 0.6 v 0.4 視覚色域 0.2 Visible Region 6 primary display sRGB Adobe RGB Multi primary display 0 0 0.2 0.4 u 0.6 H. Sugiura, H. Kaneko, S. Kagawa, M. Ozawa, K. Niki and H.Tanizoe, ”Prototype of a Wide Gamut Monitor Adopting an LED-backlighting LCD Panel”, Digest of SID ‘03, 43.5L, pp.1266-1269(2003). より引用 SHVの提案時の色域正岡顕一郎，西田幸博，菅原正幸，“スーパーハイビジョンの広色域表色系－高い臨場感と実物間を提供する次世代テレビジョン－”，信学技報，IMQ2011-4，pp.19-24(2011) より引用． Device-Independent Imaging System for High-Fidelity Colors Kazunari Tomizawa, Akiko Yoshida, Makoto Hasegawa, Yasuhiro Yoshida ： (SHARP Corporation) Shinichi Katoh, Kenichi Nishizawa, Osamu Ozawa: (Ikegami Tsushinki Co., Ltd.) Yoshifumi Shimodaira: (Shizuoka University) Proceedings of SIGGRAPH 2011. より引用各種色規格の色域と物体色包含の程度最明色の範囲：＞＞ある明度で最も鮮やかな色（理論的限界） Optimal color 200 反射率の定義 L* L* L* L* L* L* L* L* L* L* L* 100 反射率 b* b* 1.0 400 波長 ( nm ) 700 = = = = = = = = = = = 1 10 20 30 40 50 60 70 80 90 99 0 -100 反射率 1.0 -200 -200 -100 a* 0 100 a* 400 波長 ( nm ) 700 D65光源下の最明色の範囲（川瀬孝治君） 200 BT709 (HDTV) の色範囲（赤点）と物体色の範囲（青点：D65光源下） BT.709変換後 L* = 50 物体色のデータ点 BT.709変換後 L* = 80 物体色のデータ点 150 150 100 100 100 50 50 50 0 b* (-) 150 b* (-) b* (-) L* = 10 物体色のデータ点 0 0 -50 -50 -50 -100 -100 -100 -150 -200 -150 -100 -50 0 50 a* (-) 100 150 200 -150 -200 -150 -100 -50 0 50 a* (-) 100 150 -150 -200 -150 -100 -50 200 BT.709変換後 0 50 a* (-) 100 150 200 xv-YCC色範囲（赤点）と物体色の範囲 L* = 50 物体色のデータ点 xvYCC変換後 xvYCC変換後 L* = 80 物体色のデータ点 150 150 100 100 100 50 50 50 0 b* (-) 150 b* (-) b* (-) L* = 10 物体色のデータ点 0 0 -50 -50 -50 -100 -100 -100 -150 -200 -150 -100 -50 0 50 a* (-) 100 150 200 -150 -200 -150 -100 -50 0 50 a* (-) 100 150 200 xvYCC変換後 -150 -200 -150 -100 -50 0 50 a* (-) 100 150 200 画像機器の接続撮像機器色変換色域マッピング＊機器により異り煩雑 HDTVカメラ、 s-RGBカメラ（原色R1,G1,B1 を想定して出力）（利用可能なほとんどのカメラ）デジタルカメラ（広色域）（原色R2,G2,B2 を想定して出力）忠実色再現カメラ（開発中）（表示の原色を想定しない。色信号は３刺激値である）表示機器家庭用テレビ（R1,G1,B1 原色） PCモニタ（s-RGB）（R1,G1,B1 原色）プリンタ（CMYK原色）広色域モニタ（R2,G2,B2 原色）多原色テレビ（R3,G3,B3,C3,M3,Y3）将来的に各種画像機器を自由に接続できるように＞＞＞国際標準化！？ (Vision gamut) Device independent signal Device-Independent Image Database ding ding a o l n D ow Downloading XYZ, etc. g Uploadin XYZ cameras ( Colorimetric capturing ) RGB-Based Displays (e.g., sRGB, AdobeRGB, DCI ) XYZ Conventional cameras Uploa Device dependent signal Downloading Device-independent color space Wide gamut displays (Multi primary Displays, Laser Displays) Printers Device-dependent color space ( colorimetric or preferable color reproduction ) The proposed system is one of the candidates. Broad cast images and internet images are exchanging in our daily life. データの交換が可能であるだけでなく、元画像の制作者の意図が保存されることが大切３．色再現の評価を容易にする電子色票の標準化広色域カメラの色取得特性を容易に知るために使用する Dark Skin Orange Blue White Light Skin Blue Sky Foliage Blue Flower Bluish Green Purplish Moderate Purple Blue Red Yellow Green Green Yellow Magenta Cyan Neutral 5 Neutral 3,5 Neutral 8 Red Neutral 6,5 Orange Yellow Black * Optical Density Macbeth Color Charts のイメージ図（カメラの色調整に標準的に利用されている）通常は標準光源の中で使用される LED color target gamut 0.9 24 colors of Macbeth Chart “o” すべてsRGB の色域内の色 sRGBの色域より格段に広い色域 y 0.8 0.7 Visible gamut 0.6 0.5 0.4 24 colors of Macbeth Chart reproduced by LED color target “x” 0.3 0.2 0.1 0.0 0.0 0.2 0.4 0.6 x 0.8 D65光源下のMacbeth 色票の色度（○： sRGB の色域内の色）と電子色票の再現色度（Ｘ） LED 電子色票の試作機 by Dr. Maciek Kretkowski 従来の色校正における改善要請１．鮮やかな色を再現する色域が欲しい： Macbeth charts はsRGBの色域内の色。印刷で鮮やかな色を表示することは難しい。 LED等の自発光型の素子を使うと容易に実現できる。２．光源が変化した場合の色を容易に欲しい：標準照明を用意しなければならない３．カメラの色校正において、照明、チャート、レンズの位置関係を同じにすることができない：４．カメラ色校正の自動化が難しい：標準化を目指している電子色票の一例これらのことが電子色票を使うことで容易に実現される。 N SR 2   ( i 1 ti  gi ) N 電子色票の一つの評価基準： 2 Macbeth chart の反射スペクトルの再現性 (波長ごとのスペクトルの振幅の差の自乗和を最低にする : SR2 ) Spectral distribution of 18 LEDs SR2の計算を使って、Macbeth chart （評価基準）のスペクトル再現に最適なLEDの選択を行う Calculate SR2 for 24 spectral distribution combinations SR2 :二つのスペクトルの振幅の差の自乗和の平均 N SR 2   ( i 1 ti  gi ) 2 N ρt : the standard (target) colour reflectance spectrum ρg : the LED-generated emissive colour spectrum N : number of wavelength samples (i=1,N) DE00 : 二つのスペクトル光の色差 Examples: ReproducedSpectral spectral distribution distribution 6.0 Relative intensity 5.0 4.0 D65 3.0 LED 2.0 1.0 0.0 400 450 500 550 600 Spectral distribution 650 700 Wave length (nm) Relative intensity 0.8 0.6 C3 LED 0.4 0.2 0.0 400 450 500 550 600 Wave length (nm) 650 700 Calculate SR2 for 24 spectral distribution combinations SR2 :二つのスペクトルの振幅の差の自乗和の平均 N SR 2   ( i 1 ti  gi ) 2 N ρt : the standard (target) colour reflectance spectrum ρg : the LED-generated emissive colour spectrum N : number of wavelength samples (i=1,N) DE00 : 二つのスペクトル光の色差 Macbeth まとめ：＊測色的な色再現を強く求める分野がある現状の画像機器はこの要請に十分には応えられていない。＊色再現の観点でみると画像に関する多様な規格、デバイスが多数出現している。その間の画像データの互換性が十分でない。他方、インターネットの普及によりデータの交換が頻繁に行われ、利用者は何をどの様に見ているか分からなくなっている。制作者の意図を保存して伝達する仕組みが必要＊色の再現性についてそれを評価する基準がない普通の利用者にも容易に理解できる評価基準が必要謝辞：＊本講演の原稿をまとめるにあたり、本学の博士、修士修了生、学部卒業生、および共同研究をして頂いた多くの企業の方の研究に基づいて作成させて頂いた。ここに深謝する。＊また、標準化に対しては卜部仁様初めとして多くの方々、企業や個人の研究者などから色々な情報を提供して頂くと共に、作成の協力をして頂いたことに感謝する。 References: (1) Garrett M. Johnson and Mark D. Fairchild, “Full-Spectral Color Calculations in Realistic Image Synthesis”, IEEE Computer Graphics and Applications(1999). (2) 大田登著、“色彩工学”、東京電機大学出版局 (3) 池田光男著、“色彩工学の基礎”、朝倉書店 (4) 樋渡涓二編著、“視聴覚情報概論”、昭晃堂ご静聴あり難うございました Captured by our XYZ camera