単板撮像素子を用いた マルチバンド画像撮影システム ◯ 紋野 雄介、田中 正行、奥富 正敏（東京工業大学） 菊地 直、吉崎 和徳、福西 宗憲、小宮 康宏（オリンパス技術開発部門） 招待ショートサーベイ講演 ２０１６年９月５日（月） 電子情報通信学会 パターン認識・メディア理解（PRMU）研究会 マルチバンド画像撮影 • 撮影シーンの分光情報（画像）を取得する技術 照明光の分光分布 照明光 Spectrum カメラ入射光の分光分布 Spectral power 50 0 400 Wavelength (nm) 700 400 分光反射率 被写体 1 Wavelength (nm) 700 0 400 Wavelength (nm) 700 カメラ マルチバンド画像撮影 Spectrum Reflectance Spectral power 100 従来のカラー画像撮影 0 400 Wavelength (nm) 700 400 Wavelength (nm) 700 2 マルチバンド画像撮影の応用例 • 幅広い分野で応用が提案されている ディジタル アーカイブ 食物検査 Goel et al., UbiComp2015 忠実色再現 （リライティング） Ribes et al., SPM2008 医療応用 （血管強調） Park et al., ICCV2007 Hashimoto et al., Opt. Exp. 2011 3 既存マルチバンド画像撮影システム • 大掛かりで煩雑なシステム – 研究室などの限られた環境のみで利用可能 マルチショットシステム Fukuda et al., EI2005 × 動画像撮影 マルチカメラシステム マルチショット ＋ アクティブ光源 Ohsawa et al., JIST2004 Park et al., ICCV2007 ○ 動画像撮影 4 単板式カラー画像撮影 • 現在のディジタルカメラ、スマートフォンで広く普及 • 小型 • 低価格 • 簡便な動画像撮影 単板撮像素子と カラーフィルタアレイの利用 センサ感度 単板撮像素子 デモザイキング 400 Wavelength (nm) 700 カラーフィルタアレイ （CFA） カラー画像 カメラ 5 単板式マルチバンド画像撮影 • 単板式カラー画像撮影をマルチバンドへ拡張 利点： • 小型 • 低価格 • 簡便な動画像撮影 センサ感度 欠点： • 疎なサンプル → 低画質化 単板撮像素子 マルチバンド デモザイキング 400 Wavelength (nm) 700 マルチバンド フィルタアレイ マルチバンド画像 カメラ 6 コンセプトの提案 • Assorted pixels (Nayar and Narasimhan, ECCV2002) – モノクロセンサの拡張性の１つとして記載されている Space Brightness Time Spectrum Depth Assorted pixels Polarization ※ マルチバンド画像撮影に対する具体的なシステム設計は、 その後 （Yasuma et al., TIP2010） にて発表 7 センサ技術 • マルチバンドセンサの製作が可能になりつつある – しかしながら、低画質など課題は多い IMECハイパースペクトルセンサ http://www2.imec.be/content/user/File/Brochures/2015/HSI%20acti vity.pdf オムニビジョンRGB-IRセンサ G R B IR https://www.e-consystems.com/OV4682-RGB-IR-USB3-camera.asp http://www.ovt.com/products/sensor.php?id=145 8 高画質化に向けた課題 • マルチバンドフィルタアレイの設計 （どう配置するか？） • マルチバンドデモザイキングの開発 （どう補間するか？） • マルチバンドセンサの感度設計（どのバンドを撮影するか？） マルチバンド フィルタアレイの設計 マルチバンド デモザイキングの開発 依存関係 マルチバンド センサの感度設計 9 高画質化に向けた課題 これらシステム全体の最適化を図ることが、 高画質なマルチバンド画像撮影の鍵 マルチバンド フィルタアレイの設計 マルチバンド デモザイキングの開発 依存関係 マルチバンド センサの感度設計 10 マルチバンドセンサの感度設計 • 最適なセンサ感度に関する理論研究は古くから行 われている – 色再現性を評価 （Vrhel and Trussell, TIP1994） – ノイズ特性を評価 （Vrhel and Trussell, TIP1995）, etc. • 一方で、現実的には製作可能なセンサ感度は限ら れるため、経験則や総当り的評価に基づく事も多い マルチバンド センサの感度設計 11 マルチバンドフィルタアレイの設計 • Generic method （Miao et al., TIP2006） – 任意バンド数のフィルタ配置を設計するフレームワーク – ５バンドの１例： ２分割 1 2 ２分割 1 4 ２分割 1 8 12 マルチバンドデモザイキングの開発 • BTESアルゴリズム （Miao et al., TIP2006） – エッジセンシング補間を繰り返すフレームワーク エッジセンシング 補間 1 2 エッジセンシング 補間 1 4 エッジセンシング 補間 1 8 13 Miaoらのフレームワーク • 利点 – 任意のバンド数に対応可能な柔軟なフレームワーク • 欠点（利点とのトレードオフでもある） – 最終的なフィルタアレイ配置の選択はユーザー任せ 結局、どの配置が良いかは分からない – エッジセンシング補間では高画質な画像が得られない 発表者らの取り組み（2010年頃から） 高画質なマルチバンド画像撮影のための、 フィルタアレイ配置およびデモザイキング処理の提案 14 着眼点：バンド間の相関を利用 • 分光画像では、各バンド間に相関があることが知られている R Or G Cy B Sensitivity 0.08 撮影シーン ５バンド センサ感度例 0 400 500 600 700 Wavelength (nm) B Cy G 各バンド画像は互いに似た画像構造を有する Or R 相関を利用 15 フィルタアレイとデモザイキングの同時設計 • ガイド画像を利用した高精度な補間処理 （Monno et al., EI2012） １つのバンドを 高密度に配置 ガイド画像 G R G Or G B G Cy G B ガイド画像生成 G Or G R G Cy G B G Cy G R G Or G 提案フィルタ配置 （５バンド） ガイデッドフィルター （He et al., ECCV2010） バンド間の 相関を利用 16 デモザイキング結果 • 分光データベースによるシミュレーション結果（Cyバンド） 撮影シーン 従来手法 （BTES法） 真値 提案手法 17 プロトタイプカメラの開発 • リアルタイムでマルチバンド画像撮影が可能 （Monno et al., TIP2015） センサ感度 Sensitivity プロトタイプ外観 イメージセンサ 500 400 300 200 100 0 EMUDA 380 提案 フィルタアレイ 外部ディスプレイ 480 580 680 Wavelength (nm) Adobeディスプレイ カメラリンク ケーブル ５バンドカメラ レンズ C mount ディスプレイ カメラシステム （FPGAボード） http://www.ok.ctrl.titech.ac.jp/res/MSI/TIP-MSI.html 18 プロトタイプ撮影画像例 RGB Rバンド Orバンド Gバンド Cyバンド Bバンド 19 プロトタイプ撮影動画像例 20 デモザイキング結果 従来手法 （BTES法） 提案手法 21 RGBカラーカメラとの解像度比較 水平・垂直の解像度は３バンドと同等レベル 解像チャート ３バンド RGBカメラ 正解データ （３板式） ５バンドカメラ （提案） 22 応用例：高精度分光反射率推定・色再現 分光反射率推定 真値 5バンド （提案） 3バンド （従来） 1 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 0.8 0.6 0.4 0.2 0 420 460 500 540 580 620 660 700 420 460 500 540 580 620 660 700 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 色差評価 △ AdobeRGB Gamut △ sRGB Gamut 5バンド撮像 （提案） 4 色差ΔE 3 2 1 0.2 0.4 0.6 0.8 1 0 3バンド撮像 （従来） 23 応用例：リライティング 400 480 560 640 400 480 560 640 標準光源撮像 （正解） 蛍光灯撮像 リライティング ５バンド撮像 ３バンド撮像 24 応用例：脈波測定 MIT Media Lab から新コンセプト (McDuff et al., TBE2014) RGBカメラで検出できない微妙な肌の色の変化を捉え、 心拍数・ストレスの有無の検出に成功。 → 非接触で感情推定や心筋梗塞の予測への応用可能性有り 5バンドの時系列データ 独立成分分析 心拍数検出 心拍変動 RGBカメラ ５バンド実験機 接触式心拍センサ ストレス無し ストレス有り 25 リアルタイムRGB-NIR画像撮影システム • カラー（RGB）画像と近赤外線（NIR）画像を同時 に撮影可能なシステム （Yoshizaki et al., CVPR2016デモ） http://www.ok.ctrl.titech.ac.jp/res/MSI/RGB-NIR.html 26 近赤外線蛍光（ICG溶液）観察動画 27 まとめと今後の課題 • まとめ – 単板式マルチバンド画像撮影の技術紹介 – 発表者らが開発したプロトタイプカメラの紹介 – マルチバンド画像撮影の応用例の紹介 • 今後の課題 – 画像撮影パイプラインの更なる高精度化 – 応用に応じた画像撮影パイプラインの最適化 – 新しい画像センシング技術の模索 謝辞： • 発表者らの研究成果の一部は、総務省・戦略的情報通信研究開発推進事業（SCOPE）の委託 （No.141203024）を受けたものである。 28 参考文献リスト • 応用例（2ページ） – Goel et al., “HyperCam: Hyperspectral imaging for ubiquitous computing applications,” UbiComp2015. – Ribes et al., “Studying that smile,” Signal Processing Magazine, 2008. – Park et al., “Multispectral imaging using multiplexed illumination,” ICCV2007. – Hashimoto et al., “Multispectral image enhancement for effective visualization,” Optics Express, 2011. • 撮影システム（3ページ） – Fukuda et al., “Development of 16-bands multispectral image archiving system,” EI2005. – Ohsawa et al., “Six-band HDTV camera system for spectrum-based color reproduction,” JIST, 2004. – Park et al., “Multispectral imaging using multiplexed illumination,” ICCV2007. • Assorted pixels（7ページ） – Nayar et al., “Assorted pixels: multi-sampled imaging with structural models,” ECCV2002. – Yasuma et al., “Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum,” TIP, 2010. 29 参考文献リスト • センサ感度設計（11ページ） – Vrhel et al., “Filter consideration in color correction,” TIP, 1994. – Vrhel et al., “Optimal color filters in the presence of noise,” TIP, 1995. • Miaoらのフレームワーク（12,13ページ） – Miao et al., “The design and evaluation of a generic method for generating mosaicked multispectral filter arrays,” TIP, 2006. – Miao et al., “Binary tree-based generic demosaicking algorithm for multispectral filter arrays,” TIP, 2006. • 発表者らの開発システム（16,18,26ページ） – Monno et al., “Multispectral demosaicking using guided filter,” EI2012. – Monno et al., “A practical one-shot multispectral imaging system using a single image sensor,” TIP, 2015. http://www.ok.ctrl.titech.ac.jp/res/MSI/TIP-MSI.html – Yoshizaki et al., “A real-time RGB-NIR imaging system using a single image sensor,” CVPR2016 (Demonstration). http://www.ok.ctrl.titech.ac.jp/res/MSI/RGB-NIR.html • 心拍推定応用（25ページ） – Mcduff et al., “Improvements in remote cardiopulmonary measurement using a five band digital camera,” TEB, 2014. 30
© Copyright 2024 Paperzz
