ディラッドボード・スクリーン活用に関するご提言につきまして

ディラッドボード・スクリーン活用に関するご提言につきまして
2013 年 1 月 25 日
トイメディアデザイン代表森山弘樹
標記の件につきまして、当方での調査結果がまとまりましたのでご報告致します。
目次
１．ディラッドボード・スクリーン設置により可能となる事。
２．ディラッドボード・スクリーン設置により今後発展が期待できる事。
３．ディラッドボード・スクリーン設置と PC 周辺機器により実現できる事。
４．ディラッドボード・スクリーンと PC 周辺機器活用アプリケーションの研究開発事例。
５．補足（ディラッドボード系スクリーンに関連する自主制作ムーブメントについて）
１．ディラッドボード・スクリーン設置により可能となる事。
◎ディラッドボード・スクリーン上の 3DCG 映像＋ライブパフォーマンスを上演させる
・ディラッドボード・スクリーン上に合成させる目的で 3DCG 映像（3DCG キャラクタ
ーモデルによるダンスパフォーマンス等）を投影し、背景で演奏するミュージシャン
や前景で踊るパフォーマーとリアルタイムに合成させるライブパフォーマンスを実現
します。
・3DCG 映像は合成目的で予め制作されたものを使うか、モーションキャプチャにより
その場でリアルタイムに動作させた 3DCG キャラクターモデルを合成させることも
可能です。その場合は「３．ディラッドスクリーン設置と PC 周辺機器により実現でき
る事」でご提案させて頂く「インタラクティブ映像ライブの実現」のための PC アプリ
ケーションの導入や開発が必要となります。
・ディラッドボード・スクリーンパフォーマンスを外部公開する事で観客を呼ぶことや、
ネット上で 3DCG 映像に興味を持つ若者を集めるオフラインミーティングを企画・
開催する事も可能です。
図 1.「ミクパ」におけるディラッドボードを使用した 3DCG キャラクターライブ会場
２．ディラッドスクリーン設置により今後発展が期待できる事。
◎ディラッドボード・スクリーン上の映像と役者による演劇パフォーマンスの実現
・ディラッドボード・スクリーン内の 3DCG キャラクターモデル映像上映に加え、
スクリーン前での役者によるパフォーマンスを合成させることでバーチャルと
リアルの間での演劇パフォーマンスを展開する事が出来ます。
・過去にスクリーンによる映像と演劇によるパフォーマンスは数々発表されてきました
が、ディラッドボードに代表される半透過スクリーンによるバーチャルキャラクター
とリアル演者との駆け引きはパフォーマンスとして例が少ないため、今後演出面での
研究と演目の成立が期待できます。
・後述する「３．ディラッドスクリーン設置と PC 周辺機器により実現できる事」でご
提案する「インタラクティブ映像ライブの実現」により演者の動きとバーチャルキャ
ラクターの動きがリアルタイムに連動できるようになれば、演技の選択の幅が広がる
と共に観客の反応に即応できる演出も可能になります。
・絵柄的にはアニメキャラクターと人物の競演といった方向性を模索する事が出来ます。
３．ディラッドスクリーン設置と PC 周辺機器により実現できる事。
◎ディラッドボード・スクリーンを利用したインタラクティブ映像ライブの実現
・ディラッドボード・スクリーン上の 3DCG 映像素材の動きをライブパフォーマーの
動きやゼスチャーに合わせてインタラクティブに変化させる事で、
ゲーム感覚で完成度の高いパフォーマンスを見せるライブを実現します。
・そのためにゼスチャーを認識して映像をコントロールする PC アプリケーションの導
入や専用プログラムの開発が必要になります。
・応用例としては前出のライブパフォーマンスや演劇における 3DCG 内キャラクター、
との共演あるいは対話が可能であり、他にも幅広い分野に応用が可能です。
◎ディラッドボード・スクリーンを利用したインタラクティブゲームの実現
・ディラッドボード・スクリーン上の 3DCG 映像素材の動きをプレーヤーの動きやゼス
チャーに合わせて進行していくライブパフォーマンス型大画面ゲームを実現します。
・そのためにゼスチャーを認識して映像をコントロールする PC アプリケーションの導
入や専用プログラムの開発が必要になります。
４．ディラッドボード・スクリーンと PC 周辺機器活用アプリケーションの研究開発事例。
◎KINECT センサー利用によるライブパフォーマーのモーションキャプチャ
・KINECT はマイクロソフト社が当初同社の替地用ゲーム機である XBOX360 用に開発
し販売した人体認識＆運動認識機能を備えた 3 次元センサーユニットです。
図 2．KINECT for XBOX360
・発売当初低価格で画期的なモーションキャプチャとして PC で利用できる事が判明した
ため爆発的に売れ、同社が後に WindowsPC 専用の KINECT を発売し正式に PC 周辺
機器となった経緯があります。
図 3. KINECT for Windows
・いずれの KINECT にも撮影された人体の骨格構造とポーズ変化を把握し、3DCG キャ
ラクターの動きをリアルタイム記録するモーションキャプチャ機能を提供します。
・このモーションキャプチャ機能を利用したアプリケーションの代表例に、フリーソフ
トウェアの 3DCG アニメーション制作ツールである MikuMikuDance(MMD)がありま
す。MMD では KINECT 発売当初から早々とモーションキャプチャ機能の実装を果た
し、3DCG アニメーションにおけるアクション制作を目指す数多くのアマチュアクリ
エイターから絶大な支持を受けています。
図 4.MikuMikuDance v7.39dot における KINECT 利用画面
（画面右上の人物像が KINECT によって直接取り込まれたポーズ）
・KINECT を利用したディラッドボードスクリーンへの直接的な応用例としては、MMD
等のモーションキャプチャーツールを使って 3DCG モデルによるバーチャルキャラク
ターをパフォーマー（踊り手 etc.）によって直接動かすパフォーマンスを見せるという
展開が可能です。
・他の展開として、KINECT のもう一つの機能であるゼスチャー認識機能を利用して、
ディラッドボード・スクリーン上で展開される 3DCG アニメーションの流れを変えた
り、あるいは 3DCG 内キャラクターのアクションや表情を変化させることでバーチャ
ルとリアルの間のインタラクションを確立させるという方法です。
・上記のインタラクション確立方法を実現するには現在の所ゼスチャーの種類に応じた
個別アプリケーションの開発が必要になりますが、近年では 3DCG アニメーション表
示を含めた開発ライブラリが充実してきているため開発期間は短縮できます。
５．補足（ディラッドボード系スクリーンに関連する自主制作ムーブメントについて）
◎ニコニコ動画における個人用ディラッドボード代替技術の開発動向
・近年「ミクパ」に代表される初音ミク等のヴァーチャルアイドル系ライブの実現に
高品質なディラッドボードは欠かせなくなっており、また初音ミク人気の盛り上がり
に呼応してローカルなイベントから果てはネット利用者間のオフラインミーティング
に至るまでディラッドボード的な半透過投影装置を自作してまで初音ミクを表示させ
たいという欲求が高まっています。
・その代表例として、日大芸術学部文芸学科の青木敬士准教授（アミッド P）が発明した
「アミッドスクリーン」という網戸を利用したソリューションがあります。ディラッドボードに
対して画質では劣るものの半透明透過効果は得られる上に原材料コストが安くてどこにでも持
っていける携帯性の高さが評価され、個人によるものや小規模ベースでの初音ミク上映イベント
での活用例を見る事が出来ます。
図 5.アミッドスクリーンの利用例（後述のブログから転載）
・また前出の MMD を利用した動画制作において、MMD で動かした初音ミクと役者を競演させる
映像作品の制作も行なわれており、個人ベースでの利用についても高い関心とともに徐々に普及
の兆しを感じられるようになっています。
（参考資料）
大学の研究室にミクさんを召喚してみた（青木敬士／アミッド P・ニコニコ動画）
アミッドスクリーン研究所（ブログ）
◎MikuMikuDance とディラッドボード・スクリーン上映の動向について
・前章の「KINECT センサー利用によるライブパフォーマーのモーションキャプチャ」
で紹介したフリーソフトウェアの 3DCG アニメーション制作ツール MikuMikuDance
(MMD)は 2008 年にリリースされて以来利用者の増加が著しく、2 次創作映像を制作す
るための道具としてニコニコ動画で定着しています。現在も有志による 3DCG モデル
の追加や拡張機能の開発が盛んに行なわれています。
・その中で、MMD で利用可能なキャラクターを用いてディラッドボードに映像を投影す
る方式でライブイベントを行なう試みも昨年から具体化しています。
図 6.「39’s CARAVAN・夏祭り 2012 in 横浜・八景島シーパラダイス」ライブ
（参考資料）MMD と最新ホログラフィーの 3D ライブ
「HATSUNE Appearance」
（ASCII.jp）
・前出の「ニコニコ動画における個人用ディラッドボード代替技術の開発動向」で紹介
しましたアミッドスクリーンも MMD による 3DCG モデル及びそのアニメーションの
表示が前提であり、MMD 関連のオフラインイベントに於いても実際に利用されていま
す。
・このようにディラッドボード・スクリーンはその存在だけで MMD 利用者に代表され
る新しい 3DCG 映像を志す若者を惹きつける強力な要素となり得ます。
◎モーションキャプチャ以外の KINECT 活用技術例について
・KINECT はそれまで 100 万円以上必要だったモーションキャプチャ装置を、完全とは
言えない機能ながら個人向けに 5 万円以下（XBOX360 用なら 2 万円以下）で購入可能
にした点が革命的でした。
・しかし KINECT には他にも革命的な機能が存在します。それは「3D スキャナー機能」
です。3D スキャナーも従来品はやはり 100 万円クラスの製品でしたが、KINECT を
利用すれば驚くほど安価に実現する事が出来ます。
・KINECT には赤外線センサやステレオ計測センサなどが搭載され、それらが人体構造
をリアルタイムに把握しポーズ情報の数値化を行なっていますが、同時に物体表面の
3D 変換も処理しています。この機能を応用すると KINECT がそのまま 3D スキャナ
ーとして利用可能になります。
・この機能を使う事で舞台での利用以外に 3DCG の利用方法について興味を持ってもら
う事が可能になると思い、補追的にご紹介させて頂きました。
図 7.KINECT での 3D スキャン画面と 3DCG データ変換されたモデル表示
（参考資料）ReconstructMe（KINECT 利用フリーソフト 3D スキャナアプリケーション）

Download Report