プロジェクト報告書（最終）Project Final Report
提出日(Date) 2011/1/19
立体浮遊映像を用いたインタラクティブシステムの開発
Development of an interactive system using 3D floating stereogram
b1008096 武田一樹
1
背景
Kazuki Takeda
術的な課題をハードウェア製作とソフトウェア開発の
本プロジェクトでは、画像処理技術やセンサ技術を用い
２グループに分けて、作業に取り組んだ。それぞれの課題
たインタラクティブシステムを開発することによって、ユ
に取り組むグループに分担を行った。ハードウェア製作の
ーザを驚かせ、感動させることを目的としている。そこで
グループでは、前期に製作した実験機 1 号を改良し、より
霧を人工的に発生させ板状にした「フォグスクリーン」と
鮮明な映像を投影できる「フォグスクリーン」の製作を行
立体視を組み合わせて、あたかもその場にオブジェクトが
った。前期で製作をした実験機 1 号での反省点を活かし、
浮き上がっているかのような感覚に陥るディスプレイ装置
実験機 2 号を製作したのちに完成形を製作した。ソフトウ
を開発することを目標とした。
ェア開発のグループでは、立体映像と音声をリアルタイム
に通信し、センサ技術を用いて操作できるソフトウェアの
最終成果として、立体浮遊映像を用いた通信システム「フ
開発を行った。
ォグフォン」を開発した。 フォグスクリーンと立体映像を
組み合わせたディスプレイ装置によって、あたかもその場
2
課題の設定と到達目標
で相手と会話しているような感覚を味わうことができる。
前期ではメンバーをフォグスクリーン班、立体視班、
成果発表会では、多くの方々に驚いていただくことができ
画像処理班の3 グループに分けて、以下のように基礎的
た。
な学習を中心とした課題の設定を行った。
最終成果までの過程として、前期ではメンバーがこのプ
ロジェクトを通して開発したいことを発表し合った。その
発表から共通点を見つけ出し、まずはフォグスクリーン、
フォグスクリーングループ
既存のフォグスクリーンの原理や構造を参考にし、独自
のフォグスクリーンの製作を行う。
立体映像の実現、画像処理技術の３点が挙げられた。それ
ぞれの課題に取り組むグループに分担を行った。フォグス
立体視グループ
クリーンのグループでは、加湿器による実験と既存のフォ
スクリーン上に投影される立体映像の実現方法を検討す
グスクリーンの構造を参考にして実験機 1 号を製作した。
る。フォグスクリーン上に投影された映像を立体化し、あ
次に立体視のグループでは両眼視差を用いた立体視を実現
たかも物体がその場に存在しているような映像を実現する
するために、アナグリフによって立体視を実現した。最後
ために、以下の４つの課題を挙げた。
に画像処理のグループでは基礎的なプログラミング技術を
・立体視を実現するための知識をつける
習得し、背景差分法を用いた物体抽出と 2 台のウェブカメ
・アナグリフの原理の調査
ラを用いたリアルタイムなアナグリフ画像の生成をするプ
・アナグリフ画像生成のプログラム
ログラムを開発した。以上の 3 点の技術からフォグスクリ
・アナグリフ動画生成のプログラム
ーンに立体映像を投影し、センサ技術を導入した迫力のあ
るインタラクティブシステムを開発することを考えた。
画像処理グループ
ソフトウェア上における技術の習得を目的として、実際
後期では最終成果「フォグフォン」を実現するために技
にプログラムの制作などを行う。今後のコンテンツの実装
に役立てるための題材として、リアルタイムに取り込まれ
る。
た映像に対する画像処理技術を学習する。前期では以下の
フォグスクリーングループ
２つの課題を挙げた。
既存のフォグスクリーンの霧を発生させる仕組みの原理
・2 台のWeb カメラを用いたリアルタイムなアナグリフ
と同じである超音波加湿器を使用して実験を行った。先ず、
画像の生成
超音波加湿器の霧の噴出口部分から出される霧に対してプ
・背景差分法を用いたリアルタイムな物体抽出
ロジェクタで映像を投影してみた。しかし、霧が拡散して
後期では、前期の反省を元にして課題の再設定を行った。
いるため映像は全く鮮明に映し出されなかった。次に、霧
さらなる技術習得と最終成果完成のためにメンバーをハー
の流れを整えるためストローで簡易整流板を製作した。整
ドウェアグループとソフトウェアグループの2 グループに
流板を加湿器の噴出口に当てて霧を真直ぐに整えた上、プ
分けて、以下のように課題の設定を行った。
ロジェクタで再び映像を投影してみた。その結果、文字の
ハードウェアグループ
画像の投影に成功することができた。しかし、写真などの
前期に製作した実験機1 号における問題点を考察し、メ
画像は投影することができなかった。
ンバー全員で改善策の検討を行う。実験機1 号の考察結果
から、発生した霧を送る風の勢いが弱いために投影された
次に実験機1 号の製作を行った。媒体になる発泡スチロ
映像は不鮮明となりスクリーンの高さも低くなってしまっ
ールに、送風するためのDC ファンを設置するために発泡
たことがわかった。これらの問題を解決するために、発生
スチロールの両側に60mm × 60mmの穴を開けた。そこ
した霧への送風用小型ファンの最適な風量や位置の決定、
に、DC ファンを設置し送風の実験を行った。このままで
より効率的な装置構造の設計に重点を置いて活動し、さら
は送風する時に均等に送ることができないため、ダンボー
に大きく鮮明なフォグスクリーンを製作することを目標と
ルプラスチックを使い、風を分流させることによって風を
した。この目標を達成し製作手順を把握して効率よく作業
両側に均等に送ることができた。次に、アクリルケースを
を進めるために、私たちは実験機2 号と模型を製作する計
発泡スチロールの箱の内寸の中央に配置した。整流板はφ
画を立て、その過程で提案された改善策をもとに作成した
6mm・長さ210mm のストローを並べることによって製作
設計図をもとにフォグスクリーンを完成させることにした。
した。その結果、超音波加湿器での映像の投影実験の時よ
発生した霧を逃がすことなく真っ直ぐ高く立ち上がらせて、
りも大きく、鮮明な映像を投影できるフォグスクリーンの
濃くぶれのない霧のスクリーンを作り出し、鮮明な画像の
製作ができた。
投影が可能なフォグスクリーンを完成させることを目
標とした。
立体視班
当初の目標であったフォグスクリーン上に立体映像を投
ソフトウェアグループ
フォグスクリーンに投影するための立体映像を実現し、
その立体映像と音声をリアルタイムに通信できる機能を実
影することに成功した。調査した内容をまとめ発表するこ
とにより情報が共有され、全員が立体視への知識をつける
ことができた。
装する。さらに直感的なインタラクションの手法を検討し、
実装する。そこで以下の3 点の課題を中心にして、ソフト
アナグリフは立体視を実現するために交差視、平行視と
ウェアの製作を行った。
いうものを利用している。交差視は像が前で重なるため物
・液晶シャッター方式による立体視の実装
体が手前にあるように見える。それに対して、平行視は像
・立体映像と音声の送受信機能の実装
が奥で重なるため、物体が遠くにあるようにみえる。これ
・センサ技術を用いたインタフェースの実装
らの交差視、平行視を組み合わせることによって立体視を
実現することがわかった。
3
課題解決のプロセスとその結果
まず前期における課題解決のプロセスとその結果を述べ
視差の調査では、左眼からの視点の画像、右眼からの視
点の画像の間隔が広くなるにつれより飛び出て見えるとい
きなかったため、完成形の模型を製作する際には水槽の淵
うことがわかった。
にゴムをつけるなどしてそれを解決することが主な課題に
あがった。
プログラム面ではアナグリフ画像生成のプログラムの製
作に成功し、アナグリフ画像を製作することができた。さ
・模型の製作
らに、色を反転させるプログラムの製作も成功し、アナグ
模型製作の目的は、実験機2 号での問題点や改善点を考
リフの反転画像を製作することができた。しかし、アナグ
慮して改良を加えるのと同時に、完成機の設計図通りの模
リフ動画生成のプログラムは時間が足りなかったため、完
型を製作することで、完成機の寸法や手順を学ぶことであ
成することができなかったが、一つ動画を読み込み、それ
る。
を色調変換させて表示させるという段階にまで製作するこ
とができた。
実験機2 号で問題となった霧の漏れ、装置の不安定、無
駄なスペースを改善することが出来た。目標であった完成
画像処理班
基礎的なプログラムの技術習得を目的として、実際に設
定した課題に向けてプログラム制作を行った。C♯で
機の手順や寸法を学ぶことが出来た。そしてスクリーンの
サイズは縦150mm ×横300mm まで大きくすることができ
た。
OpenCV を使用するために、クラスライブラリ
OpenCVSharp を用いた。左目および右目に対応する2 台
・完成機の製作
のカメラに映し出される映像を抽出し、それぞれの画像の
模型を作ってみて分かったことや挙げられた改善すべき
RGB 色素を抜き出した。左目のカメラのR 色素（赤）、
点などをもとに、さらに効率のよい製作手順で模型とほぼ
右目のカメラのG 色素（緑）およびB 色素（青）をそれぞ
同じ構図で素材はアクリル板を使用し、最終成果物として
れ用いて、新しい画像に統合することで、リアルタイムに
のフォグスクリーン発生装置の製作を行った。
表示されるアナグリフ画像を実現させた。
模型での反省点などをしっかり把握したうえで、なおか
次に後期における課題解決のプロセスとその結果を述べ
つアクリル板という素材の加工方法も事前に調査し、慎重
る。
に完成形の構造図通りになるように製作した。この装置を
ハードウェアグループ
使用することによってきれいに整ったスクリーンを作りだ
・実験機2 号の製作
すことができたので、スクリーンにより鮮明な映像を投影
実験機１号では既存のフォグスクリーンの構造を参考に
製作を行ったが、立体視することが可能なフォグスクリー
ンを実現するための構造の問題、または装置自体の構造の
問題を解決するため、ディスカッションや試作を行うなど
して改良を進めた。
水を張った水槽に上から整流装置である本体を被せ、超
音波発生器とファンを稼動させることでスクリーンを作り
出し、静止画や動画、また立体視するための映像の投影を
することができた。実験機１号であげられた構造上の問題
や完成形を確定するにあたる不安材料をほぼ解消すること
ができた。しかし、装置のファンの取り付け位置や接合部
分の隙間からの霧や水滴が漏れは完全にはなくすことがで
図１
映像を投影した「フォグスクリーン」
することができた。結果、最終成果物として使用すること
現方法の中では最も理想的な方法であると考えた。今回は
のできるフォグスクリーンを発生させることのできるフォ
映像の出力先がフォグスクリーンであるため、この方式に
グスクリーン装置を製作することができた。
対応したプロジェクタによって映像を表示することとした。
ソフトウェアグループ
・インタフェースの実装
・通信機能の実装
Wii リモコンという任天堂が開発した家庭用ゲーム機
本プロジェクトではインターネットを介したビデオ通話
「Wii」の標準コントローラーを用いてインタラクションを
を行うため、そのような機能を目的とした上で、必要なデ
実現した。Wii 本体との通信にはBluetooth を用いているた
ータをやり取りするための通信規約を策定した。策定にあ
め、コンピュータとの接続も簡単にできる。またコンピュ
たり、映像および音声の通信は確実に必要だが、それに加
ータで制御するためには、Wii moteLib というCodePlex で
えて、電話としての通信処理を入れる必要がある。今回、
公開されているライブラリを利用する。WiimoteLibは.NET
トランスポート層プロトコル（OSI 参照モデル第4 層）を
環境でWii リモコンを簡単に制御することを可能にする。
UDP としているため、コネクションが存在しない。一方
このWii リモコンに実装されているCMOS センサとボタ
で、電話に代表される通信システムはコネクション型ある。
ンを用いた。Wii リモコンを利用したことにより直感的な
例えば、電話を受ける側であれば、着信を確認して、それ
操作ができた。
に応答することで初めて互いの接続関係が成り立ち、コネ
クションが生まれる。どちらかが電話を切った段階で、そ
プロジェクト全体のまとめ
のコネクションは切れる。ビデオ通話でも同様の接続が必
以上のハードウェアグループとソフトウェアグ
要なので、今回はアプリケーション層プロトコル側で簡単
ループの成果により、最終成果である立体浮遊映
なコネクション型の接続処理を導入し、最低限の電話とし
像を用いた通信システム「フォグフォン」を開発すること
ての機能を有するようにプロトコルの策定を行った。今回
ができた。フォグスクリーンと立体映像を組み合わせたデ
策定したプロトコルでは、通信する実データを複数回の通
ィスプレイ装置によって、あたかもその場で相手と会話し
信に分割して送信することを可能とした。これは、映像や
ているような感覚を味わうことができる。成果発表会では、
音声など、比較的サイズの大きいデータを取り扱うため、
多くの方々に驚いていただくことができた。
細いネットワーク回線においてデータの分割を行うことで、
データを一度に送った時と比べ、回線にかかる負荷を分散
できるようにすることを狙ったものである。
・立体視の実現
最終的には、左右の目に与えるべき映像を高速で交互に
与え、その切り替えにあわせて専用眼鏡の液晶シャッター
を開け閉めする液晶シャッター方式によって立体視システ
ムを実現した。液晶シャッター方式は左右の映像を時分割
で与えるため、アナグリフ方式のように元画像の色情報を
損失することなく立体視画像としての特性を付加すること
ができる。立体視をするために専用の液晶シャッター眼
鏡が必要になるものの、パララックスバリア方式、レンチ
キュラー方式のような視野角の制限が無く、より実体感の
ある立体映像を実現できる。この特性から、「フォグフォ
ン」に求められる実体感を実現する上で、既存の立体視実
図２
最終成果「フォグフォン」