はじめに • ３次元ビデオについて – 生成・表示・編集に関して松山研究室にて行われて いる研究を紹介 ３次元ビデオの生成・表示・編集 −MR-PreVizへの応用について− 髙井勇志 延原章平 吉本廣雅 松山隆司 京都大学大学院情報学研究科 • MR-PreVizへの応用について – 殺陣シーンの3次元ビデオ生成について – 3次元ビデオデータを利用したMR-PreViz 3次元ビデオとは 3次元ビデオ生成の処理過程 • 実世界で活動する人や動物の形・動作・色を余すところ 無く記録した新しい映像メディアである． – 撮影対象を自由な視点から鑑賞できる． – 形状データを保持しているため，動作解析への適用も可能． 多視点ビデオ同期撮影 3次元ビデオ生成の処理過程 多視点ビデオ同期撮影 対象シルエット抽出 視体積交差法による ３次元形状復元 対象シルエット抽出 視体積交差法による ３次元形状復元 弾性メッシュ変形による 高精度3次元形状復元 高精細テクスチャ マッピング 弾性メッシュ変形による 高精度3次元形状復元 高精細テクスチャ マッピング 3次元ビデオ生成の処理過程 弾性メッシュ変形による 高精度3次元形状復元 高精細テクスチャ マッピング 多視点ビデオ同期撮影 対象シルエット抽出 視体積交差法による ３次元形状復元 1 3次元ビデオ生成の処理過程 多視点ビデオ同期撮影 対象シルエット抽出 視体積交差法による ３次元形状復元 3次元ビデオ生成の処理過程 弾性メッシュ変形による 高精度3次元形状復元 高精細テクスチャ マッピング 撮影スタジオ • 宮崎スタジオ 多視点ビデオ同期撮影 対象シルエット抽出 視体積交差法による ３次元形状復元 弾性メッシュ変形による 高精度3次元形状復元 高精細テクスチャ マッピング 多視点ビデオ同期撮影 • 西陣スタジオ – 10m×10m×2.5m – カメラ25台 – PCクラスタ：PC30台 • Zeon 3.6GHz×2 • 2GB RAM – 直径6m，高さ2.5m – カメラ15台 – PCクラスタ：PC16台 • 外部トリガ発生器を用いる事により，完全に同 期した多視点映像を撮影することが出来る． • Pentium III 1GHz×2 • 1GB RAM 対象シルエット抽出 PCクラスタを用いた実時間３次元形状復元 • 閾値処理による背景差分 • 視体積交差法 ‒ カメラの投影中心と画像上のシルエットにより形成される視錐 体内に撮影対象が存在する. 従って，複数カメラより得られた視 錐体の積を求めることによって撮影対象の形状が復元できる. 前景画像 差分 − PA PB 背景画像 2 PCクラスタを用いた実時間３次元形状復元 弾性メッシュ変形による高精度３次元形状復元 • PCクラスタの計算機アーキテクチャまで考慮し た並列パイプライン処理を実現 • 様々な情報・制約条件を，頂点に作用する力として表現 し，各頂点における各力の状態に応じて変形過程を動的 にコントロールすることで，より高精度な形状復元を実 現する． – 滑らかなメッシュ生成 – 凹の部分も再現可能 ‒ 空間解像度8mmで毎秒30フレームというビデオレー トでの処理が実現できる 局所的連続性，滑らかさ 視体積 •カメラ1台につきPC1台 •計算専用PC，マスタPC テクスチャ 弾性メッシュ変形による高精度３次元形状復元 シルエット 高精細テクスチャマッピング • 視点依存・頂点ベース法 ‒ 仮想視点の視線方向とカメラの視線方向の関係を用いた多視点 テクスチャの重み付き和を，各頂点の色とする．これらの頂点 の色を補間することによりテクスチャマッピングを行う． • 完全に正確であるとは言えない形状に対しても高精度のテク スチャマッピングが可能 – 撮影画像の解像度 – キャリブレーション精度 – 視体積交差法の精度 メッシュ変形による 高精度化 多視点画像 メ ッ シュ 多視点テ ク ス チャ 仮想視点 3次元ビデオのデータ構造 ３次元ビデオビューア • １フレーム • ３次元ビデオデータをインタラクティブに表示 • 全方位ビデオ背景やCGモデルとの同時表示 ‒ 形状 • 頂点と面 ‒ テクスチャ（視点依存） • 頂点色 ‒ 頂点数×撮影カメラ台数 • 時系列データ ‒ 各フレームデータを連続表示 3 その他 • 複数人物の追跡撮影 • 動的カメラキャリブレーション • 圧縮・符号化 – Skin-off 法 • シルエット抽出 – 多視点画像を用いた誤り検出・訂正機能を持つ高精 度対象領域抽出法，大浜郁, 延原章平, 松山隆司， MIRU2006, to appear 3次元ビデオの変遷 2004 宮崎スタジオ（旧） 2005 宮崎スタジオ（新） 2005 西陣スタジオ 固定カメラ VGA 15fps アクティブカメラ(実装中) VGA 15fps 固定カメラ XGA 25fps ボクセルサイズ: 10mm 頂点数: 約30,000 面数: 約60,000 ボクセルサイズ: 10mm 頂点数: 約30,000 面数: 約60,000 ボクセルサイズ: 2.5mm 頂点数: 約1,000,000 面数: 約2,000,000 • 高精細テクスチャマッピング – 面ベーステクスチャマッピング • テクスチャ画像の補正 MR-PreVizとの関わり • ３次元ビデオ – ３次元幾何データ – 多視点テクスチャデータ MR-PreVizへの応用について – Image-based renderingではない • 形状・動作の編集が可能 – 手足の位置や動きの編集 右手をもう少し高く． 足の運びをゆっくりと． … 殺陣シーンの３次元ビデオ撮影 生成したデータについて • 撮影条件 • 浪人と侍 – モーションブラーが出ないように • シャッタースピード：1000分の1秒 • 十分な光量 – 600フレーム（24秒） – 空間解像度：５mm • 約120000頂点 • 約240000ポリゴン – １フレーム当たりのデータサイズ • 形状データ – 約2.5MB（圧縮），約8.5MB（非圧縮） • テクスチャデータ – 約1.5MB（PNG圧縮），約5.0MB（非圧縮） 4 インタラクティブ表示デモ 映像生成例 動作の編集に向けて まとめ • ３次元ビデオデータの力学的構造を抽出する． • ３次元ビデオの生成・表示・編集 • MR-PreVizへの応用へ向けた取り組み – 力学的構造＝運動学的構造＋非剛体の構造 – 殺陣シーンの撮影 布、 皮膚表面 髪 etc. • 木刀のように細く高速に動く物体 • 着物のひらめき（袖，袴など） – 生成したデータの編集 • 現在取り組んでいる課題 • 位置やタイミング合わせ • 撮影対象の力学的構造の抽出 – 力学的構造の表現法 – これから取り組んでいく課題 • 頭，胴体，手足を表す大まかなグラフ構造 • – 力学的構造の抽出法 • 中間表現を用いた構造抽出法 – Reeb Graphの利用 本発表の成果は，「文部科学省研究委託事業『知的資産の電子的な保存・ 活用を支援するソフトウェア技術基盤の構築』大型有形・無形文化財の高 精度デジタル化ソフトウェアの開発」によるものである． • http://vision.kuee.kyoto-u.ac.jp/ T.Tung , 2005 5
© Copyright 2024 Paperzz
