新映像技術ダイブイントウザムービーの研究 顔面像をくり抜いた状態で作成されたオリジナル映像と合 実施予定期間：平成1とi年度へ平成20年庇 成させることで映橡を生成したく，一方，「ダイブイントウ サムーピー」では過去・現在の作品を問わず，役者全身の 桝究代表者：森島 繋生（早稲田人学埋⊥学部応用物 振る舞い・セリフを参加者の振る舞い・セリフと挿げ習え 坤学科） ることで，役者の視点の映像・音場を再現し，高い没人環 境の構築をめざす。さらに，参加者どうしの体験や感動を Ⅰ．概要 リアルタイムで共有するシステムの構築をめざし，これら 「フューチャーキャストシステム」は参加者の顔のみを のエンタテインメント基盤技術とそのプロトタイプを研究 取り込み，映像合成する技術だが，木提案は参加者の全身 開発することを目楳とする。 を映像合成し，参加者全員が登場人物になりきって映画を 観賞すると同時に，役者が感じた畜場・映像で没入感を体 2．国内外の研究状況．提案にいたる準備・調査等について 感する技術の提案である。本提案では，1）配役モデリン a．国内外の研究状況 グ・映像処理技術，2）映像合成技術，3）音声音響処理技 本提案，「ダイブイントウザムービー」の基盤となる 術の研究開発を行う。さらに，これら技術を集約きせたプ 「フューチャーキャストシステム」は参加者自身の顔が瞬 ロトタイプシステムを構築し実証実験を行う。 時に映画のキャストとして参加可能なシステムであり，世 界には類を見ないものである。「愛・地球博」，三井・東芝 館で具現化した「フューチャーキャストシステム」におけ 1．研究の目的 本提案では新映像技術「ダイブイントウザムービー」に る研究代表者らの試みはまさに世界初の画斯的な研究テー 関する研究を行う。ダイブイントウザムービーとは過去・ マであり，他の類似した研究は行われていない。したがっ 現在の快傑作品を問わず，視聴者（参加者）らが映像に入 て，「フューチャーキャストシステム」の枠を大きく超え り込み（DiviI18），登場人物の視点で映画の世界に没人し， た本提案もまったく新しい研究テーマである。研究代表者 さらに．参加者個でインタラクティブに感動を共有できる らのみが「ダイブイントウザムービー」という新しいデジ 全く新しいエンタテインメントである。研究代表者らはす タル′コンテンツ形態を創成するための基盤研究，システム でにl愛・地球博（2（〕05年日本国際博覧会EXPO2（105 構築干法，席学官の協力休倒1を実行することが可能であり， AICHI．TAPAN）」，「井・東芝館にて「ダイブイントウザ しかも．これらの予備的な検討は終了している。 ムービー」の先駆けであるlフコし」一チャーキャストシス b．提案にいたる準備・調査等 テム」0）展示を行った（URL：http：／／www．expo2OO5， 本提案を行うにあたり，研究代表者は「愛■地球博 Or．jp／jp／CO／C3／C3．7／C3．7．8／）。「フューチャーキャスト （2005年日本国際博覧会EXPO2005AICHIJAPAN）」 システム」は，3次元スキャナで取り込んだ来場者一人一 にて総計163万人の参加者を動員した予備実験を行い， 人の顔情報を瞬時にCGモデル化し，一度は誰もが思い描 「産」・「学」・「官」による協力体制の設立，壮大な規模の いた，自分が「物語の登場人物」として活躍するという夢 システム構築，基盤技術の準備体制を実現した。この結果 を実現する画期的なシステムである。「愛・地球博」では により，本提案の実現に必要な多くのフィードバックを得 6ケ月間の開催期間中，のベ163万人の来場者の顔画像 ることができた。しかし，「愛・地球博」の実証実験だけ をストーリーの登場人物として参加させ観客に大きな感動 では本提案の基盤として十分ではない。以下に示す研究代 を与えた。「愛・地球博」での成功により，「フューチャー 表者・研究サブテーマ代表者の研究実績があって初めて本 キャストシステム」の有効性，さらには映画およびゲーム 提案の基盤となる。 等の従来のデジタルコンテンツとは異なる新しいエンタテ 研究代表者である森島繁生は，ここ数年，顔表情分析・ インメント分野の萌芽を感受することができた。この新興 合成の研究を行ってきた。またMRIによる高精細な骨牌 エンタテインメントを成長させアニメやゲームに続く，我 推定とそれを利用したモーションキャプチャの研究を実偏 が国発の高品質なデジタルコンテンツを，持続的かつ円滑 し，精度の高い全身動作モデリング手法を開発した。平成 に供給できる技術を確立することが本提案の目的である。 16年10月より戦析的剣道研究推進事業（（独）科学技術 「フューチャーキャストシステム」では参加者の顔の表情 振興機構）のプロジェクトをスタート苫せ，ll木のアニメ や∩形状をCGによってアニメーションさせ，あらかじめ コンテンツ制作の効率化を促進するオーサリンザツールの 一619− 開発に従事している。さらに，2005年の「愛・地球博」 理シミュレーションによって動作に応じた頭髪の運動をリ では，三井・東芝館で具壬引ヒされた「フューチャーキャス アルタイム生成する。さらに，眼鏡や着用する衣装．苫ら トシステム」の開発を担当し，2年6ケ月の年月を要して， にはレンダリング方法に関しても個人の趣向を反映した演 世界初のシステムの実損に貞献し，結果として163万人 出ができる枠組みを生成する。 この研究成果によって，恢画の登場人物は，参加者の特 の来場者に感動を与えた実績をもつ。 徴を有すると同時に，参加者の意図したとおりの演出が可 サブテーマ研究責任者の八木康山は1988叶，世界に先 駆け，単一ミラーからなる全方位ビジョンの研究を実施 能なオリジナルのキャラクタとなる。， し，これまでに，さまぎまな全万仰視鴬の反射光学系を設 本テーマは4つの桝究項目に分類される。 計してきた栗綽ならびにそれらを用いた人物追跡，個人認 1．個人特徴を有する劇モデリングに関する研究 計など視覚情報処理手法の研究実績も豊吊にある（1996 2．個人特徴を古する身体動作モデリングに関する研究 年電子情報通信学会論文賞）。さらに，全方位ビジョンと 3．リアルタイムキャラクタアニメーションに関する研 その視覚情報処秤技術だけでなく，表示デバイスに関して も，超広角ヘッドマウントディスプレイの開発（2003年 4．参加者を魅」′するエンタテインメント具現化技術 10thACMSymposiumonVirtualRealitySoftwareand b．ダイブイントウザムービーのための配役モデリング及び配 Technology優秀論文賞）を行っている。 役中心映像処理技術に関する研究 サブテーマ研究責任者の中村哲は菖声認識．多次元信号 「フューチャーキャストシステム」における参加者の顔 モデリング法は，顔の幾何形状とテキスチャを計測するこ 処理などの音声・音響情報処理，マルチモーダル情報処理， ヒューマンインタフェースの研究に従事し，数多くの大型 とで，参加者の3次元顔モデルを獲得し，顔を挿げ替える プロジェクトを指揮・参画し，成功を収めた実績を持つ。 ことで参加者が映画の登場人物に扮し，すべての参加者と 現在は．日本最大規模の音声言語情報処理研究機関である 共に映像鑑賞を行なうことができた。「ダイブイントウザ ATR音声言語コミュニケーション研究所を指揮し，世界に ムービー」では，よりリアルな映像への没入を実現するこ 先駆けて様々な多言語菖声翻訳システムを握案するととも とをめざしており，そのためには，顔形状だけでなく，顔 に，業界標準となる菖声・音響データベースの設計，収録， の質感に姿形や動作を含めた全身の表現が必要不可欠であ 整備を数多く手がけており，その世界的な貢献も大きい。 るっ また，第二の新映像技術は，上記の参加者視点での映 3．研究内容 像技術を与えるものである。この配役視点の映像技術では， a．ダイブイントウザムービーのための映像生成技術に関する 参加者が，扮した登場人物位置（視点）から，映俸巾で田 桝究 周りの状況を白山に鑑賞できることをめざす。 像鑑賞だけでなく，配役視点での映像鑑賞という新しい映 木サブテーマでは，以上の超没入型ダイブイントウザ rフューチャーキャストシステム」では，来場一昔の粛iを 3次元スキャニングして，瞬時にCGモデル化し，シナリ ム←ピーを実現する手段として，1）質感と動きを含めた オデータにしたがって，リアルタイムに顔オブジェクトを 全身像のモデリング技術および2）登場人物位置からのパ レンダリングしていた。しかし，スタティックモデルとし ノラマ映像拷得ならび自由視線映像呈示技術の構築をめざ ての3次元11体形状において個人性は忠実に再規されてい す。 たものの，キャラクタアニメーション時に参加者がストー 本テーマは4つの研究項目に分類される。 リー上の自分自身に気づかない場合があった。その理由と 1．多波長BRDF顔モデリング技術に関する研究 して，まず表情変化時の動的な特徴において個人性は全く 2．歩容動作モデリング技術に関する研究 反映きれず，いずれも同一の特徴を有する基本表情のブレ 3．頭部装着型配役中心映像撮影システムに関する研究 ンドシェープによってアニメーションが実現されていたか 4．配役中心映像編集・自由視線映像呈示システムに関 する研究 らである。また，顔のみを実時間合成していたため．頭髪， 眼鏡，衣服などの個人の特徴を含んでいなかった。さらに c．ダイブイントウザムービーのための音声・音響処理技術に 身体動作に関しては，プリレンダリングによって，キャス 関する研究 書声の個人性は，参加者の個人性を演出する重要な要因 ト毎に予め定められた動きを毎回の上映ごとに繰り返し， の1つである。「フューチャーキャストシステム」では， 合成された顔の部分のみを個人に応じて変化きせていた。 そこで，木研究テーマでは，より個人の特徴を反映する 男女の古声の区別は行っているものの，参加者の声の個人 ようなキャラクタアニメーションの生成手法について検討 性を台詞音声に反映させるまでには至らなかった。本テー を行う。具体的には，まず，リアルタイムレンダリングの マでは，参加苫の個人性を反映した台詞音声配役技術の実 部分を全身に拡張し，インタラクティブにジェスチャを制 現をめざすゎ 特に，演技の台詞苗声は作品全体の品質にも 御できるようにする。次に，髪型の特徴をCG再現し，物 人きく影響するu したがって，品質を極力劣化させずに参 一620− 加者の配役，個人性を配慮した，適切な台詞苦声を設定し 化にも寄与でき，アウトリーチ活動の一環として基盤技術 なければならない。 を公開することで我が国のデジタルコンテンツ業界全体の また「フューチャーキャストシステム」では参加者の顔 技術力活性化を図る。 のみを映画の登場人物の顔に収り込み，参加者らがその蝦 5．研究終7後の実用化等に向けた自立的な取組について り込まれた映像を観賞していた。「ダイブイントウザムー 木提案の研究成果を用いて，l愛・地球博」にて展示を ビー」では，参加者が登場人物に自分白身を投影して，登 した「フユーチヤ←キャストシステム」と同様にプロトタ 場人物の視点で視聴する技術を実現することもめざす＝‥＝ そ の際，峡画の登場人物の体験した菖場空間を再現する技術 イプシステムを構築し，実計峡像として参加者に体験し は，没入環境を構築する上で非常に重要な要素となる。 てもらい，木システムの評価を行う。「フューチャーキャ ストシステム」はその技術の美川件の高さに実績があり， 本テーマは4つの研究項目に分類される。 lダイブイントウザムービー」システムでも同様，もしく 1．声質の類似性を評価するための特徴呈分析に関する 研究 はそれ以上の評仙を期待できる。研究成果であるプロトタ 2．個人惟を強調する声優配役の最適化に関する朋究 イプシステムをもとに桝究委員会を中心として「ダイピン 3．リアリティ苗場収録・再現技術の確立 イントウザムービー」システムを改良していき，新たなエ 4．登場人物位置における苗場収録，再現技術の確立 ンタテイメント文化としての土壌を培っていく。言式作委員 会の「産学官」連携によりアトラクション施設，イベント 施設等の納入，さらには世界屈指のアトラクション等へ導 4．課題解決への寄与．経済社会への波及効果について 入できるレベルになるよう参画機関を中心に技術改良を行 本研究によりプロトタイプシステムと試験映像を制作 し，実証実験を行った後，実用化のための継続的研究開発 う。 さらに，「ダイブイントウザムービー」の基盤研究は新 を行う。最終的に本提案システムを実用化することにより， 世界に先駆けて，現在の映画に代わる新しい映像・娯楽コ 興エンタテインメントシステムに使われる技術だけでは ンテンツを創造する。このシステムの特徴は映画と同様の なく，従来のゲーム・映画等へのスペシャルエフェクト ストーリー性を有し物語の感動を与えるに留まらず，イン （VFX）技術に用いることができる。これら技術も，参画 タラクティブな機能をもつことで参加者白身がストーリー 機関を中心として研究を続け先端的な研究技術開発を行 の中に入り込み，深い感動を体験的に享受することが可能 い∴’我が”国のデジタルコンテンツ産業技術の国際競争 である。さらに，自分の分身が演技している要を他の参加 力を高めてゆく。研究成果のアウトリーチ所動を行うこと 者に見せるパフォーマンス性を有することから，他人と感 で，実際に制作者が「使える」技術をめざしていく。 動や経験を共有することによって，より人きなインパクト をもたらすエンタテインメントの実税が可能である。 6．生命倫理・安全面への配慮について 本システムは，アニメ，ゲームとは異なる全く新しいエ 生命倫理・安全面を問う研究項目なし ンタテインメント文化の創成が実現する。また世界の映画 館のシステムに大きな影響を与え，まったく新しい映画館 7．ミッションステートメント 本研究斯閣内に，表情，動作，歩呑，声をターゲットと システムの運営が期待できる。映画におけるストーt」− 性，ゲームにおけるインタラクティブ性，演劇におけるパ して，参加者への負担を最小限に抑えた個人データ計測方 フォーマンス性のすべての特徴を兼ね備えた，特別のスキ 法を提案し，10分から15分程度の待ち時間内に，参加 ルを要求しない映像エンタテインメントの実現が可能とな 者の特徴を計測して個人性を反映しカスタマイズした登場 る．。きらに，将来，家庭用としても利用・普及でき，本シ 人物モデルを自動構築して，ムービー上映時には，参加者 ステムを教育用途にも利用し，臨場感を伴った教育コンテ 個人の特徴を表現したキャストとして演技させる技術の構 ンツをつくることで，高い教育効果をもたらす。．市場規模 築を行う。またプロトタイプシステムを構築して個人性再 は極めて大きい。 現や没入感に関する実証実験を実施し，新しいエンタテイ ンメントの形態を発信する。 もちろん開発した要素技術は，ゲーム・映像制作の効率 一62】− 臥実施体制 氏 名 90森島 繁生 提案課越における役割 所 属 機 関・職 名 早稲田大学二哩工学部応用物理学科 研究代表者，サブテーマ1責任 ，研究運営委員，委員長 サブテーマ2責任者，研究運営＿ ．E弓 〔〕八木 康史 大阪大学産業科学研究所知牒システム科学研究部門 〔二）中村哲 （株）国際電気通信基礎技術研究所苫声言語コミュニケーショ ン研究所 早稲町大学理工学部応用物理学科 早稲田人学≡哩⊥学部応用物理学科 早稲田人学理工学部応川物理学科 前島謙宣 足音 吉広 研究員1 上村 周平 井辺 咄人 両村 昌平 三浦 文′裕 柳澤 博昭 井上 隆大 関根 孝雄 山名 信弘 向川 康博 槙原 靖 伊勢 史郎 Konstantin MARKOV （株）シリコンスタジオ 早稲田大学≡哩⊥学部応用物≡哩学科 早稲出大学理工学部応川物理学科 早稲田大学理l二学部応用物理学科 早稲出大学理工学部応用物．哩学科 サブテーマ3責作者，研究運営 員 サブテ←マ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参画者 サブテーマ1参両者 サブテ←マ1参画者 サブテーマ1参画者 サブテーマ2参画者 サブテーマ2参画者 サブテーマ3参画者 早稲‖大学理丁学部応用物理学科 早稲田大学理工学部応用物理学科 早稲田大学理工学部応用物理学科 大阪大学産業科学研究所知能システム科学研究部門 大阪大学産業科学研究所知能システム科学研究部門 京都大学大学院工学研究科 （株）国際電気通信基礎技術研究所音声言語コミュニケーショ サブテーマ3参画者 ン研究所 四倉達夫 サブテーマ3参画者 ン研究所 榎本成悟 サブテーマ3参画者 ン研究所 川本真一 サブテーマ3参画者 ン研究所 サブテーマ3参画者 JinfuⅣⅠ ン研究所 松田繁樹 サブテーマ3参画者 ン研究所 DASILVAMAIA Ranniery サブテーマ3参画者 ン研究所 葦苅豊 サブテーマ3参画者 ン研究所 S［cfanWintcr サブテーマ3参画老 ン研究所 足立吉広 サブテーマ3参画者 ン研究所 戸出智基 サブテーマ3参両者 ン研究所 豊m政弘 サブテーマ3参画者 ン研究所 サブテーマ3参画者 学生1（ⅣAIST） ン研究所 竹林正雄 町田 保 雨華 美和 松原 健二 川見 孝 福本 隆司 宮井 あゆみ （株）電通テック （株）ピノアズール （株）シリコンスタジオ （株）コーエー （株）コナミデジタルエンタテインメント （株）リンクスデジワークス （財）画像情報教育振興協会（CG−ARTS協会） 研究運営委員会委員 研究運営委員会委員 研究運営委員会委員 研究運営委員会委員 研究運営委員会委員 研究運営委員会委員 研究運営委員会委員 （注：◎は研究代表者，○はサブテーマ責任者） 技術に関する研究の一環として，既存の「フューチャー 9．各年度の計画と実績 a．平成18年度 キャストシステム」を発展させ，ストーリーへの没人感を （1）計岡 深める方法論を検討する。具体的には，登場人物となる （a）ダイブイントウザムービーのための映像生成技術に関す キャラクタのより詳細なカスタマイズ機能について検討す る研究 る。個人の特徴をより強く反映するための，全身のモデリ 初年度は，ダイブイントウザムービーのための映像生成 ング技術の検討，表情合成方法の検討を実施する。 一622− する。 （1．個人特徴を有する顔モデリングに関する研究 少ない特徴点によって顔面表情をオ←サリングする顔表 （3．リアリティ舌場収録・再現技術の確立 情編集ツールを作成する。そして．個人の特徴を顕著に表 初年度は，再現用スピーカ，収録用マイクロホンの位置 現する表情合成方式の検討を行う。来場者の頭から得られ にずれが生じないような強固で軽量なシステムの機構を持 る少ない特徴量から予めデータベースに蓄積された富まぎ つインタフェースを制作する。 まなバリエーションの哀情パラメータに関してカスタマイ b．平成19牛虎 ズを施す方法論を確立する。， （1）計画 （2．個人特徴を有する身体動作モデリングに関する研究 （a）ダイブイントウザムービーのための峡優生成技術に関す 購入した全身レンジスキャニング装置により測定抽出さ る研究 れた本人に忠実な全身モデルに基づいて，運動制御するた 2年目は，1年目の成果に基づき，より個人の情朝を反 めの肯椙モデル構成方法について方法論を確立する。全身 映するための，表情，ジエステヤ，頭髪モデルのカスタマ 動作を極めてリアルに本人の動作に近いものとして再現す イズ合成の方式について検討する。このためには，極めて る手法に着手する。動作や歩呑パラメータが個人にカスタ 短時間の聞に，トレーニングサンプルを収集し，表情変化， マイズされた後に，このパラメータに従って，動作を再現 ジェスチャや髪型の特徴を抽出して，キャラクタ制御のた するプラットフォームの確立を行う。 めのデータベースを個人の特徴に合わせてカスタマイズす る機能を含む。 （3．リアルタイムキャラクタアニメーションに関する研究 複数台のカメラから得られたシルエット画像に基づい （1．個人特徴を有する顔モデリングに関する研究 て，個人の髪型を取得し，1本1本の頭髪再現によりCG 独自に開発した表情筋モデルに基づいて，筋肉の配置や モデル化する手法の検討を行う。頭髪は本数が多いため， パラメータの設定によって個人性をいかに忠実に再現でき そのレンダリングには膨大な計算量を必要とする。この頭 るかに関して実験を進める。 髪をリアルタイムに描画する方法論を確立する。また全身 （2．個人特徴を有する身体動作モデリングに関する研究 のレンダリング技術，リアルタイムでキャラクタアニメー 骨格モデルのデータベース化を推進し，身長や体格の特 ションを生成する技術について基礎検討を行う。 徴量から，本人の骨格モデリングを容易に実理する手法に ついて検討する。 （b）ダイブイントウザムービーのための配役モデ1」ング及び 配役中心映像処理技術に関する研究 （3．リアルタイムキャラクタアニメーションに関する研究 力スタマイズされた頭髪モデルに対して，身体動作によ （1．歩容動作モデリング技術に関する研究 る頭髪の連動表現，また風などの外的棄国による頭髪運制 個人性が強く税れる左右前方斜め方向・左右後方斜め方 モデリングの手法について検討する。 向とl司時に，全体像を把掘するための盛上からの見え方を， 同時に撮影できる複数カメラからなる歩容動作計測システ （l〕）ダイブイントウザムービーのための配役モデリング及び ムの開発を行う。 配役中心映像処理技術に関する研究 （乙登場人物視点からのパノラマ映像獲得・自由視線映像呈 （1．多波長BRDF顔モデリング技術に関する研究 示技術 380−780nmO）波長範Bflを6nmO）分解能で計測する分 光ラインカメラと白色光源付置を制御する方式による，標 各俳優は，視点映像を記録するために，配役中心映像撮 影システムを頭部に装着する必要がある。初年度は，配 準顔モデルを構築するための高精度多波長BRDF計測シス 役中心映像撮影システムのための頭部装着型センサのパラ テムを開発する。男女各年代層の被験者に対し，顔データ メータ（各凸面鏡の形状，大きさ，数，位置，掘像面（画 を収集し，収集したデータをクラスタリングし，クラスタ 素数（水平画素，垂直画素），アスペクト比）を決定し， 毎に代表顔として，標準顔モデルを構築する。． 試作を行なう。 （2．歩容動作モデリング技術に関する研究 前年度試作した歩容動作計測システムを用い，男女各年 （C）ダイブイントウザムービーのための音声・音響処理技術 代層毎に複数の歩容パターンに対する歩容データを収集 に関する研究 （1．声質の類似性を評価するための特徴量分析に関する研究 し，収集したデータをクラスタリングすることで，類似す 従来，音声認識や話者認識にて用いられている菖響特徴 る標準体形・歩容データを抽出する。そしてクラスタ毎に 量，および韻律特徴量を中心に，知覚的な類似度との関係 代表的体形・歩零パターンとして，標準身体モデルを構築 を調査する。 する。 （乙個人性を強調する声優配役の最適化に関する研究 （3．頭部装着型配役中心映像掘影システムに関する研究 システム構築を検討するための台詞音声データベースの 本システムを装着した俳優による撮影を通じて，映像の 予備収録を行う。その際，声のバリエーションに主眼を置 品質ならびに没入感に関する評価を行ない，システムを完 き，できるだけ多くの声優の菖声を収録することを目標と 成させる。 一623− （4．配役中心映像編集・自由視線映像呈示システムに関する し，特徴あるターゲットモーションのブレンディングを行 研究 う。さらに，任意の動作を再現合成する方法論を確立し， 頭部装着型配役中心映像撮影システムは．配役の頭部に 実証映像作成することで．評価実験を行う。 装着されることから，配役の動作が，映像揺れとして現れ （3．リアルタイムキャラクタアニメーションに関する研究 る。周囲360度を観測できる撮傍系では．カメラの傾き 頭髪のリアルタイムレンダリングのための基礎検討を行 が，画像小において周期関数として現れるという性質を・持 う。また同時に頭髪以外の全身のインタラクティブ制御の つ＝｝ 本研究では，この性質を利mすることで，映俸揺れを ための動作制御法について検討をすすめる。 除去した，スタビライズ映像を呈示する。また，視点位置 （4．参加者を魅」ノするエンタテインメント具現化技術 の果なる2台以上のカメラから得られる観測ノ．との幾何制 ダイブイントウザムービーのコアとなる表示方式の検討 約を利川した姿勢推定方法を新たに実現する。さらに，姿 を†」二い，実際のコンテンツを川いて，ストーリーへの役人 勢角センサの情報とも統合した安定な姿勢推定方法を構築 惑の評価を行う。 （b）ダイブイントウザムービーのための配役モデリング及び し，括れ補正を行なったスタビライズ映像を生成する。 配役中心映像処理技術に関する桝究 （C）ダイブイントウザムービーのための音声・音響処理技術 に関する研究 （1．多波長BRDF顔モデリング技術に関する研究 4000×4000の高精細カメラとエリアレンジセンサ， （1．声賃の類似性を評価するための特徴量分析に関する研究 参加者の菖声サンプルから発話内容を音素単位で精密に 分光ラインカメラからなる多波長BRDF顔モデル獲得シス 抽出するための話者や収録環境に頑健な菖声認識手法を検 テムを開発する．。参加者の顔データ取得のための静止時間 討し，抽出した音素への依存性を考慮した菖響特徴量，お 1秒以下をめざす。 よび韻律特徴量を検討する。 （2．歩容動作モデリング技術に関する研究 予め製作した標準身体モデルと観測データとの照合によ （乙個人性を強調する声優配役の最適化に関する研究 前年度までに収録したデータベースを基盤として，収録 り，参加者別の身体モデルをオンライン作成できるシステ した音声の声質の弁別性について検討し，主観評価等によ ムを構築する．。実証実験を適して，有効性を評価する。 り評価関数を導出する。さらに，前年度までの成果を元に （3．配役中心映像編集・自由視線映像呈示システムに関する 声優酉己役システムの言式作を行う。 研究 裸像の見廻しのための個人用全方位呈示システムを開発 （3．リアリティ音場収録・再現技術の確11 平成18叶度に製作した台場収録システムを用いてリア し，実証実験となる創作所動を適して，配役小JL、映像呈′」三 枝術の有効性を評価する。 リティ苗場再現用のための収録実験を行う。 （4．登場人物付置における台場収録，再現技術の確■■∴ （c）ダイブイントウザムービーのための菖声・菖響処埋技術 視聴者が頭部を動かした場鋸こも水平面lノ吊こおける定位 に関する研究 感を得ることができるように役者の両耳を含む水平面内の （1．声質の類似性を評価するための特徴量分析に関する研究 数点にマイクロホンを装着して収録を行う。 前年度までの成果を統合した類似度評価モデルを構築 c．平成20年度 し，実証実験を適して，有効性を評価する。 （2．個人件を強調する声優配役の最適化に関する研究 （1）計画 システム運用を想定した台詞音声データベースを設計収 （a）ダイブイントウザムービーのための映像生成技術に関す 録し，前年度までの成果を取り入れることで，声優配役シ る研究 ステムを改良する。さらに，実証実験を通じて，その有効 3年目は，表情，声，動作のカスタマイズ機能をさらに レベルアップさせ，実際のコンテンツ制作を実施して，評 性を評価する．。 価実験を行う。 （3．リアリティ畜場収録・再現技術の確立 リアリティ音場再現システムの心理評価実験を行う。具 （1．個人特徴を有する顔モデリングに関する研究 体的には，菖像の方向定位感，距離感などの再現精度を聴 喜怒哀楽など少ない表情アクションをサンプリングする 感実験により明らかにする。 ことによって，表情筋パラメータをカスタマイズする手法 を確立し，その表情合成再現実験によって，個人性がどの （4．登場人物位置における畜場収録，再現技術の確立 程度忠実に再現されたかを評価する。 登場人物位置における音場再現システムの心理評価実験 を行う。 （2．個人特徴を有する身体動作モデリングに関する研究 基本となる骨格動作をアクションユニットとして定義 一624− 10．年次計画 研 究 項 目 1年度目 2年度目 3年度目 a．ダイブイントウザムービー制作のため の制作のための映像合成技術に関する研 究 （参画研究機関） 早稲出大学 顔表情編集ツール 15（自■万円） 肥Ⅰに基づいた身体動作の再現実験 骨格モデルのデータベース構築 骨格動作モデルの実証映像制作 24（市力￣円） 25（百万l■」） 10（白万H） シルエット画像に基づく頭髪再現技術構築 頭髪モデルの運動法の研究 リアルタイム頭髪運動システム構築 15（百万円） 10（百万円） 10（百万円） 評価映像制作 15（百万円） b．ダイブイントウザムービーのための配 役モデリング及び配役中心映像処理技術 に関する研究 高精度多波長BRDF計i則シス 個別参加者の多波長BRDF顔 テムと標準顔モデルの構築 20（百ノブ円） 24（百ノゴ円） （参画研究機関） 大阪大学 歩容動作計軌システムの開発 標準身体モデルの構築 10（百万円） 27（百万円） 頭部装着型配役中心映 像撮影システムの開発 20（百万円） オンライン身体モデル 獲得システムの実現 8（百万円） 15（百万円） 映像揺れ補正手法の実現 10（百万円） 呈示システムの開発 18（百万円） c．ダイブイントウザムービー制作のため の菖声・菖響処理技術に関する研究 （参画研究機関） 音響特徴量、韻律特徴量によ コンテキスト依存特徴量の検討 類似度評価モデルの 7（百万円） 構築・実証実験 る菖声の個人性表現の検討 6（口万円） 7（百ノ」■円） （株）国際電気適信基礎技術研究所 京都大学 小規模台詞音声デ 一夕ベースの収録 14（白フ了H） リアリティ青堀再現・ 収録システムの構築 26（百万円） 声優配役システムの吉武作 大規模台詞古声データベースの 15（百万円） 収録・声優配役システムの吉武作 28（百万円〕 苦場再現インタフェース リアリティ菖場再現シ を用いた原音場の収録 ステムの」L、理評価実験 15（百万円） 10（百万円） 登場人物位置の苗場再現 のための原音場の収録 13（百万円） 10（百万円） d．研究運営委員会 （参画研究機関） 早稲田大学 アウトリーチ活動・ 研究運営委員会 3（百万円〕 一625− アウトリーチ活動・ 研究運営委員会 3（百万円） アウトリーチ活動・ 研究運営委員会 3（百万円） 11．研究運営委員会 委 員 所 属 備 考 （研究実施者） 研究代表者 ○森島繁生 早稲田大学 理工学部応用物理学科 教授 サブテーマ1責任者 八木 虚史 大阪大学 産業化学研究所知能システム科学研究部門 数援 サブテーマ2責任者 中村 哲 （株）国際電気通信基礎技術研究所 音声言語コミュニケーション研究所 サブテーマ3責任者 所長 （外部有識者） 竹林正雄 （株）電通テック プロデュ←サー （株）リトルスタジオインク 取締役社長 町田 保 雨中 美和 （株）シリコンスタジオ 取締役社長 他店 健二 （株）コーエー 執行役員 （株）コナミデジタルエンタテインメント 連結経営本部長 川見 孝 福本 隆司 （株）リンクスデジワークス 常務取締役．プロデュ←サー 宮井 あゆみ （財）画像情報数市振興協会 （CG−ARTS協会） （注：○は研究運営委員長） 一626−
© Copyright 2026 Paperzz
