コンピュータビジョンII 2014/10/28 4.反射光と散乱光の計測 Measurement of Reflection and Scattering 今日のミニレポート BSSRDFの次元数を下げるためには，どのような近似をすればよいか 何を仮定すれば，どのパラメータが減らせるか，ひとつずつ説明せよ担当教員：向川康博双方向反射率分布関数 BRDF (Bidirectional Reflection Distribution Function) 反射光の計測 入射光照度（イラディアンス）に対する出射光輝度（ラディアンス）の比 通常は波長を省略 → R,G,Bの３チャンネルで定義 f BRDF ( x,  i , i ,  r ,  r )  N L θi θr φi 実物のBRDFの表現 実物のBRDFをどのように表現するか？ 1. 2. 3. 4. 何らかのパラメトリックモデルを仮定し，近い見えとなるようにパラメータを調整する何らかのパラメトリックモデルを仮定し，画像に当てはめることによってパラメータを推定する BRDFを粗くサンプリングし，足りない角度を線形に，あるいはパラメトリックモデルで補間する BRDFを密にサンプリングし，そのまま参照テーブルとして用いる  V Lr ( x,  r ,  r ) Li ( x,  i , i ) cos  i d Lr ( x,  r ,  r ) E ( x ,  i , i ) d φr BRDFサンプリング手法の分類 どのようにしてBRDFをサンプリングするか？ (1) 光源とセンサを機械的に回転 (2) 反射特性が一様な物体を利用 (3) 光源とセンサを半球状に配置 (4) 反射屈折光学系を工夫 N f BRDF ( x,  i , i ,  r ,  r ) L θi θr φi V φr 1 (1) 光源とセンサを機械的に回転 BRDF計測の困難さ 膨大なデータ量，非常に長い計測時間 光源（360x90）×センサ（360x90）×3byte=3GB/画素 3GB×横640画素×縦480画素＝900TB 360x90x360x90回=1,049,760,000回=約10億回 30fpsで計測しても約１年 等方性反射を仮定 3パラメータに削減 N f BRDF ( x,  i , i ,  r ,  r ) L θi θr isotropic f BRDF ( x,  i ,  r ,  ) V φ (1) 光源とセンサを機械的に回転 ロボットアームや回転ステージに光源やセンサを取り付けて機械的に回転する 光源の２軸回転，センサの２軸回転 Light Stage (Debevec et al., SIGGRAPH2000) 光源を密に回転 Reflectance Fieldの計測 (64×32) 皮膚反射モデルとパラメータ推定 Reflectance Field Reflectance Fieldの再合成による任意照明・任意方向の顔画像生成 Digital Fashion Ltd. (2) 反射特性が一様な物体を利用 (2) 反射特性が一様な物体を利用 画像中での様々な法線・視線・光源方向の組合せ 球や円筒を利用(Marschner et al. 1999,2000) 2 MERL BRDF Database 100種類の異なる素材のBRDF 球体を撮影 ウェーブレット変換や主成分分析により，データ圧縮できることを確認一般形状のBRDF計測 3Dレンジスキャナを併用 (Marschner et al. 1999) 表面全体で均一なBRDFを仮定 １枚の画像中で観測される，様々な法線・視線・光源方向の組合せ人間の顔のBRDF計測の例 Image-Based BRDF Measurement Including Human Skin (3) 光源とセンサを半球状に配置多数のデジタルカメラを配置 Canon Powershot A75を151台利用 約半径80cmの半球状に配置 カメラのフラッシュを光源として利用 Gero Müller et al., Rapid Synchronous Acquisition of Geometry and Appearance of Cultural Heritage Artefacts (4) 反射屈折光学系を工夫多数のLEDを利用 半球状にLEDを配置 LEDを照明と観測の両方に利用 多波長計測にも拡張可能 M. Ben-Ezra et al., An LED-only BRDF measurement device 3 (4) 反射屈折光学系を工夫鏡とプロジェクタの組み合わせ プロジェクタを照明として利用 様々な形状の鏡を利用（球，楕円，放物面，円筒） Hemispherical half-mirror (Ward 1992) Ellipsoidal mirror (Mattison et al.1998) Dome mirror and projector (Ghosh et al. 2007) Ellipsoidal mirror and projector (Mukaigawa et al. 2007) Paraboloidal mirror (Dana 2001) Projector and planar mirrors (Han et al. 2003) Cylindrical mirror (Kuthirummal et al. 2006) 反射鏡の利用計測の原理 (Mukaigawa et al. 2007) 投影画像を変えることにより光源方向を制御 一度の撮影で全視線方向のデータを計測 回転楕円体の特徴 𝑥2 𝑎2 𝑦2 y 𝑧2 z + 𝑏2 + 𝑏2 = 1 Ellipsoidal mirror x ２つの焦点を持ち，一方の焦点を出た光線は内面で反射し，もう一方の焦点に集まる Beam splitter その総距離は一定 Projected pattern Projector Target material 計測の原理 (Mukaigawa et al. 2007) Camera BRDF計測装置 (Rapid Catadioptric Gonioreflectometer) 投影画像を変えることにより光源方向を制御 一度の撮影で全視線方向のデータを計測  Vertical setup (RCG-1)  Horizontal setup (RCG-2) Ellipsoidal mirror Target material Beam splitter Ellipsoidal mirror Projected pattern Target material Ellipsoidal mirror Projector Camera Plate mirror Beam splitter Projector Beam splitter Projector Camera Target material Camera Captured image 4 30 サンプリングしたBRDFの利用反射特性の計測とCG応用 反射モデルへの当てはめ 実際の反射に適合したモデル選択 反射モデルのパラメータ推定 いかに安定して推定できるか？ そのまま参照テーブルとして利用硬貨計測した反射特性 既存モデルで近似できない複雑な反射 極めて高い写実性が求められる場合 密なサンプリングが必要 いかに高速にサンプリングできるか？ Buddaの幾何形状 Spider-man in Light Stage Penny dragon 構造色の反射特性 モデル化の難しい構造色構造色の例 Glossy Penny 2007 多層膜干渉 Old Penny 1975 メキシコ貝の内側 5 単一散乱の解析 光学的な密度の低い媒体を対象 散乱除去，散乱パラメータ推定散乱光の計測 [Hawkins et al. 2005] [Narasimhan et al. 2005] 光路が一意に特定できることを利用薄めた液体 [Narashimhan 2006] 液体は薄めれば単一散乱のみと近似できる多重散乱の計測 光学的な密度の高い媒体を対象 ダイポールモデルの当てはめレーザを利用 [Goeseleら SIGGRAPH2004] 計測薄めたパラメータで作成したCG プロジェクタを利用 [Peersら SIGGRAPH2006] もとのパラメータで作成したCG 表面下散乱のサンプリング(1) i d o i d 専用装置を利用 [Weirichら SIGGRAPH2006 ] 表面下散乱のサンプリング(2) 光学的に一様な媒体における表面下散乱 I プロジェクタを利用 [Tariqら VMV2006] o 光学的に不均一な媒体における表面下散乱 I o I i i 散乱は入射位置に依存せず xi xo o x'i I’ x'o 散乱は入射位置に依存 Marble Plastic 計測 5次元 BSSRDF: f(i, o, d) モデル化 • Dipole model [Jensen et al. SIGGRAPH2001] • Quantized-diffusion 8次元 BSSRDF: f(xi, i, xo, o) 計測・モデル化・解析のすべてが難しい 膨大な計測時間・データ量はBRDFの比ではない [Eugene and Geoffrey SIGGRAPH2011] • 点広がり関数(PSF)での表現 [Munoz et al. EG2011] [Premoze et al. EGSR2004] 6 ８次元BSSRDFの計測と解析計測に対する解法 実現のための課題 亀甲多面鏡 多面体鏡により仮想カメラとプロジェクターを球面状に配置解析計測  次々回の講義で紹介カメラと照明の最適な配置  高次元データからの情報の取得 ? ? 対象物 8次元のデータ亀甲多面鏡 BSSRDFサンプリングシステムのスペック i=(i, i): 48方向 o): 48方向 入射位置 xi=(xi, yi): 400箇所 出射位置 xo=(xo, yo) : 10000箇所 入射光の角度計測システムの全体像計測対象物と撮影画像例エポキシ樹脂消しゴム大理石 出射光の角度 o=(o, 光学的に一様かつ光学的に薄い光学的に一様かつ光学的に濃い光学的に不均一かつ光学的に薄い仮想カメラと仮想プロジェクタの配置 BSSRDFの解像度 f(xi, i, xo, o): 48 x 48 x 400 x 10000 = 9.216 x 109 撮影画像の例(入射光の方向と位置は固定) 計測したBSSRDFの解析 BSSRDFの可視化 4次元スライスf(xo, o)の可視化 解析における課題 各出射位置xoにおける 高次元データからの情報の取得 BSSRDFの4次元スライス f(xo, o)の可視化による解析 xo o 出射光の広がりをプロット 提案する解析 xi 観察事項: 対象物体 1. 入射位置の違いに伴う 4次元スライス f(xo, o)の違い 2. 入射方向の違いに伴う 4次元スライス f(xo, o)の違い 出射角度依存性に基づくBSSRDFの分解 + = 一般的なBSSRDF 出射方向に依存する成分 x1 x2 光学的均一性の違い 1 2 光学的な濃さの違い出射方向に依存しない成分 7 出射光の角度依存性に基づくBSSRDFの解析 4次元スライスの比較 BSSRDFが含む様々な散乱光エポキシ樹脂 出射方向に依存する成分と依存しない成分の両方によりＺあ構成される同じスライス (光学的に均一) 異なるスライス (光学的に薄い) Ｚ = 同じスライス (光学的に均一) 同じスライス (光学的に濃い) 消しゴム + 出射方向に依存する成分一般のBSSRDF 出射方向に依存しない成分ＺＺ異なるスライス (光学的に不均一) 異なるスライス (光学的に濃い) 大理石分解結果 BSSRDFの分解 拡散反射と鏡面反射の分解手法を応用 o 両成分出射方向に依存する成分 BSSRDF f(xi, i, xo, o) 出射方向に依存しない成分出射方向に依存する成分 f a  x i , i , x o ,  o  f i  x i , i , x o  o 一般のBSSRDF 光学的に薄い素材に占めるエポキシ樹脂 (光学的に薄い) f i  xi , i , xo   min f  xi , i , xo , o  出射方向に依存する成分 f a  x i , i , x o ,  o   f  x i , i , x o ,  o  - f i  x i , i , x o  光学的に均一な素材において対称な形状光学的に濃い素材に占める消しゴム (光学的に濃い) 出射方向に依存しない成分出射方向に依存しない成分 0 光学的に不均一な素材において非対称な形状大理石 (光学的に不均一) まとめ計測したBSSRDFと光学的特性 各素材におけるBSSRDFの特徴光学的均一性高入射方向により変化エポキシ樹脂出射方向に依存する成分が占める 反射光の計測消しゴム 複雑な反射の場合はサンプリングで解決  計算機の記憶容量の増大化が貢献  様々な圧縮技術も利用可能出射方向に依存しない成分が占める BSSRDFから様々な光学特性が得られる大理石低 散乱光の計測大域的に考えなければならないから 計測・モデル化・解析のすべてが難しい入射方向や位置により変化低局所的に決まるから パラメトリックモデルで近似可能入射方向や位置により変化しない 次元数が高いことが理由 現在でも多くの研究者が取り組んでいる問題出射方向に依存する成分が占める光学的濃さ高 8