物理的なクイズクイズ

最初にクイズ
ヒューマンメディア工学
Human Media Engineering
„
「情報環境」って何だ?
(ネットでも検索してみよう)
情報環境
ヒューマンインタフェースと
体感メディア技術
加藤 俊一
Toshi KATO
人間と情報環境とのインタラクション
„
情報環境
„
人間と情報環境とのインタラクション
„
情報の創造・処理加工・伝達・蓄積を行う過程で、
それを実現するための情報メディア・ソフトウエア・データベース
などの利用可能な環境をいう。
cf. 環境
„
(三省堂「大辞林 第二版」)
„
情報を取り巻く環境のことである。環境情報ということもあるが若
干意味合いが異なる場合が多い。
情報に対してアクセス(収集・発信)する環境と情報を加工する環
境があるとされている。
情報環境の要素としては、一般的にネットワークやコンピュータと
いったものが連想されやすいが、図書館や書店、テレビやラジオ
といったものも情報に関わっているので、これらも要素といえる。
„
(三省堂「大辞林 第二版」)
取り囲んでいる周りの世界。
人間や生物の周囲にあって、意識や行動の面でそれ
らと何らかの相互作用を及ぼし合うもの。
また、その外界の状態。
自然環境の他に社会的、文化的な環境もある。
「―が良い」「―に左右される」「家庭―」「―破壊」
周囲の境界。まわり。
(Wikipedia 2006年6月18日、2008年6月2日)
„
Wikipediaの説明は、ちょっとヘンだな。。。
人間と情報環境とのインタラクション
„
„
人間(あるいは人間の集まり)
↓↑ 接点で相互作用(interaction)
情報環境
„
人間の知的活動や身体的行動を支援するための
様々な情報サービスを実現するための環境。
マルチメディアコンテンツ・データベース・知識ベース・
情報処理・
ネットワーク・センサー・表示装置
などから構成される。
人間と情報環境とのインタラクション
„
interact (vi)
„
interaction (n)
„
interactive (adj)
„
„
„
相互に作用する, (~と)互いに影響しあう [with]
相互作用 [with]; 相互連関 [between].
相互に作用する;
【コンピュータ】対話式の, インタラクティブな.
1
人間と情報環境とのインタラクション
„
interface (n)
„
„
„
„
(復習)ヒューマンインタフェース
„
(異なる物の)境界面, 中間共通面;
共有領域;
【コンピュータ】インタフェース
„
„
„
interface (vi, vt)
„
„
„
人が
「機器」と接する部分
「サービス」と接する部分
「人・社会」と接する部分
連結する [with];
調和(整)する[させる];
【コンピュータ】インタフェースをとる.
何を書いてほしかったか、、、
何を書いてほしかったか、、、
(復習)ヒューマンインタフェース
„
人に優しいヒューマンインタフェース
何を書いてほしかったか、、、
何を書いてほしかったか、、、
(復習)ヒューマンインタフェースの視点
„
(例)
使いやすい、見やすい、押しやすい、、、
わかりやすい、練習いらず、失敗なし、、、
満足感、楽しい、ストレスなし、、、
→ 実は「やわらかアタマ」で考えてほしかった。
ネット上には、古いパラダイムの
考えばかりがめだつ!
そんなのを参考にしてたら、
「20世紀の製品・サービス」しか企画できない人に
なっちゃうョ!
身体的側面
„
„
機器と身体的な特性との整合性
„
„
„
→ ボタンの押しやすさ・画面の見易さ(1980年代まで
=大量生産時代の観点)
„ 情報の表現方法の自然性
„
„
„
知識的側面
„
操作方法の明快さ
„
„
„
類推可能性
操作ミス(エラー)からの回復
何を書いてほしかったか、、、
何を書いてほしかったか、、、
(復習)ヒューマンインタフェースの視点
„
感性的側面
„
„
„
提供する機能の粒度・規模・過不足
常識、要求される背景知識
類推可能性
→ 人間への「メンタルな負荷」「ヒューマンエラー」に
対する配慮が始まる(1990年代から)
主観的な特性との整合性
„
„
嗜好・価値観・目的意識
カスタマイズ可能な範囲
„
目的との整合性
„
個人情報
機能の体系の明快さ
„
マルチメディア
マルチモーダル
→ マルチメディア時代&バリアフリーへの配慮が始ま
る(1980年代後半からの観点)
何を書いてほしかったか、、、
何を書いてほしかったか、、、
(復習)ヒューマンインタフェースの視点
形状
運動能力(操作性)
知覚能力(視認性)
„
„
„
表層的 vs 深層的
再利用・高度利用
セキュリティ
→ 人間は何に満足感を求めようとしているのか?(21
世紀の視点)
(表層)製品の個別性(例:差別化欲求)
(深層)サービスを利用する本来の目的(例:つなが
り感、癒し、自己実現欲求 など)
2
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
„
40年代: 電気配線+ランプ
50年代: 紙テープ + プリンタ
60年代: キーボード + キャラクタディスプレイ
入出力装置の「電子」化
70年代: キーボード + グラフィックディスプレイ
航空管制データのグラフ化・マップ化
GUI (Graphical User Interface)
„
計算機のユーザインタフェース
„
„
„
Scientific Visualization
„
コンピュータシミュレーションと可視化技術
„
„
„
„
„
(ビデオ資料を見ながら)
„
„
„
可視化とはどういうことか?
不可視情報を可視化することによって、
大幅に理解が容易になり、
便利になると考えられるものを、
列挙してみよう。
その理由は?
90? 00? 10年代?: ビジュアルエージェント
執事メタファ
00? 10年代?: 実世界インタフェース
実世界メタファ
Scientific Visualization
„
70年代: データの2次元グラフ化
計測・記録されたデータの把握
80年代: コンピュータグラフィックス
物理法則に基づくシミュレーション
忠実に可視化(2次元)
90年代: ステレオ表示
可視化(2次元→3次元)
人為的ルール
00年代: どこに向かう? 現実世界の中で?
[課題1] Scientific Visualization
80年代: キーボード + マウス + ビットマップ
デスクトップメタファ
「実世界」のモデル化と投影
可視化技術
„
„
„
物理現象:
物理化学法則のシミュレーション(分子運動CG)
物理化学的な計測値(AMEDAS)
論理・ルール:
アルゴリズム(フローチャート、アニメ)
法律上の制約(建築基準法)
感性:
感性モデル(相関関係、モデルの対比)
(参考)不可視情報 そのほんの一例
(狭義) 目には見えない情報
(広義) 人間が直接感じ取ることが難しい情報
„
„
„
„
„
„
„
„
„
„
„
„
赤外線・紫外線・電波
小さすぎるもの(原子・分子)、大きすぎるもの(天体・宇宙)
表面に現れてないもの(皮下、内臓、骨格;地下;水中)
振動、超音波(高周波)・低周波
流れ(水、空気;交通;情報)
温度・湿度の分布
早すぎるもの(化学反応)、遅すぎるもの(成長)
危険、安全
健康状態、体力、疲労
エネルギー
学習、知識
感情、感性
3
VR: Virtual Reality (仮想現実)
„
virtual (adj)
„
〔限定〕(名目上はそうではないが)実質上の、
事実上の、実際上の
virtual memory(仮想記憶)
„ 〔光学〕虚の、仮の
注意: vain (adj)
VR: Virtual Reality (仮想現実)
„
Virtual Reality
„
人間の五感(視覚、聴覚、触覚+味覚、嗅覚)である
感覚器官に知覚させるための技術
„ 物理法則やルールに基づいた「世界」の構築
× Animated cartoon physics
„ 計算機内に現実世界を「模擬」 「投影」
参考: CG: Computer Graphics
„
„
〔「カラの、実質のない」が原義〕 むなしい、中身のな
い;つまらない、価値のない; 虚栄心の強い、うぬぼ
れの強い Vanity Fair(虚栄の市)
„
„
„
Virtual Realityの基本的な要件(1)
Realityの基本的な要件(1)
„
没入感 immersion, immersive:
„
全感覚(現状は視聴覚)で感じる外界が、すべて
計算機制御された空間
Cf. 計算機制御された空間を、全感覚(現状は視聴覚)を
通して知覚
„
質感
e.g. 高精細・高品位
Virtual Realityの基本的な要件(3)
Realityの基本的な要件(3)
„
主として視覚情報
次世代のCGをVRだと言う人もいる。
Virtual Realityの基本的な要件(2)
Realityの基本的な要件(2)
„
インタラクティブ性 interactivity:
„
人間が対象・状況に働きかけられる
Cf. 特定の対象を選び出して
Cf. 対象群のおかれている状況に対して
„
対象・状況が人間に働きかけられる
Cf. 常時モニタ可能
初期のVR
システム (VPL)
初期のVRシステム
ヘッドマウント
ディスプレイ
リアルタイム性 real-time:
„
(相互)作用した結果を直ちに反映
Cf. (相互)作用の高速な計算
Cf. 計算結果の高速な可視化(可感化)
„
データ
グローブ
現実の世界と同じ時間スケールで再現
Cf. 現実の世界と同じ空間スケールで再現
Cf. 現実の世界と同じ刺激スケールで再現
4
立体視
„
奥行きの知覚
„
„
„
„
„
„
„
„
筋肉: 水晶体(レンズ厚)、両眼の輻輳角
画像: 両眼視差、運動視差
画像: 陰影、テクスチャなど
両眼視差
(人間)
„
左目・右目の距離
×輻輳角
→距離(と大きさ)
ランダムドットステレオグラム
遠近法
ネッカーのキューブ
立体視
„
立体視
視差をつけた撮影
(機械)
[実験1]立体視
„
視差をつけた画像の計算・生成(CG)
左目・右目の距離
×輻輳角
→距離(と大きさ) を
再現する
感じさせる
右目画像
左目画像
東京タワー
[実験2]立体視
„
運動視差による奥行きの知覚
六本木ヒルズ
5
[実験3]奥行きと遠近感
„
(参考)ネッカーのキューブ
ポンゾの錯視
„
奥行き知覚は
「視差」
だけではない
http://www.p.u-tokyo.ac.jp/~kitajyo/projects.html
立体視
„
コンピュータビジョン
„
„
„
カメラの輻輳角
対応点マッチング
テクスチャ解析
立体視
„
バーチャルリアリティ
„
„
„
„
バーチャルリアリティ
„
„
„
„
„
両眼交互刺激
刺激の限界提示時間(上限)と解像度(密)
両眼同時刺激
解像度(粗)
Head Mounted Display
両眼交互刺激
限界提示時間(上限)
解像度(密)
液晶シャッター
偏光メガネ
赤青メガネ(モノクロ)
6
時分割表示+液晶シャッターメガネ
偏光スクリーン+偏光メガネ
CAVE(多面ディスプレイ) WALL(大画面)
+Head Tracking
広視野角ディスプレイ
„
+ ビデオ資料
全天周・広視野角ディスプレイ
„
„
コンテンツ(大画面・遠景)を工夫すれば
「奥行き」を感じる
視差を与えれば
「立体感」を感じる
7
裸眼立体視の仕組み
„
„
裸眼立体ディスプレイ(
裸眼立体ディスプレイ(WoW)
WoW)
レンティキュラーレンズによる両眼同時刺激
空間解像度(粗)
裸眼立体ディスプレイ(
裸眼立体ディスプレイ(Synthagram)
Synthagram)
球状裸眼立体視ディスプレイ(prospecta)
prospecta)
SeeSee-through type Head Mounted Display
(透過型HMD
)
(透過型HMD)
SeeSee-through type Head Mounted Display
(透過型HMD
)
(透過型HMD)
8
力覚ディスプレイ(Phantom
)
力覚ディスプレイ(Phantom)
力覚(加速度)+視覚
„
力覚(加速度)+視覚
„
嗅覚ディスプレイ
加速度感(スピード感)と視覚のマルチ
モーダル性
VR: Virtual Reality (仮想現実)
„
Virtual Reality Ride (Simulation Ride)
データグローブ&データスーツ
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ」
視覚: アイカメラ(視線)
聴覚: 音声
触覚: 力の向き・強さ、
位置(Data Glove, Data Suit, 磁気センサ)、
速度(加速度)
9
Motion Capture(1)
Capture(1)
Motion Capture(3)
Capture(3)
ユビキタス空間内での動作の検出
Motion Capture(2)
Capture(2)
OpenCVを使った顔認識
„
„
OpenCVを使った顔認識
OpenCV: インテルが開発・公開している
オープンソースのコンピュータビジョン(画
像処理・画像認識)のライブラリ
景色の中から人間の顔(らしい部分)を検
出する機能も提供されている。
視線入力装置
„
„
顔を抽出できれば、視線も検出できる!
QuickGlance3 アイトラッキングシステム
„
例: キーボード・音声に代わる文字入力手段
(マルチモーダルインタフェース)
http://yamashita.dyndns.org/blog/face-detection-with-opencv/
10
視線追尾システム
„
(参考)ちょっと未来の視線検出
VIEW-TRACKER
„
„
„
„
„
(例)飛行機操縦の視線解析
水平メーターと着陸する位置を何度も確認してい
る様子が分かる。
„
„
http://www.ditect.co.jp/appli/case_025_00121.html
Interactive Data Eyeglasses、フラウンホファー研究機構(ドイツ)
現状のヘッドマウントディスプレイの問題は「高い・重い・でかい・人間工学的
じゃない」。
彼らはアイトラッキング機能を備えたCMOSチップを19.3 x 17mmというサイ
ズで設計。このチップをメガネのヒンジに取り付ければ、どこかを見つめたり
視線を動かしたりするとコンテンツの選択やスクロールが行えるメガネが出
来るという目論見です。
「私達はメガネを、新しいアプリケーション分野が登場するような、双方向で
対話的ものとしたいのです」と、同機構のMichael Scholles博士。
メガネはPDAなどと接続することで表示コンテンツを取得、コンテンツはメガ
ネに埋め込まれたマイクロディスプレイに投影されます。マイクロディスプレ
イは環境光に負けないコントラストにするため、OLEDを利用。着用者からす
ると、1メートル先に像があるように見えるとのことです。
http://www.fraunhofer.de/EN/bigimg/2009/rn06fo3g.jsp
http://japanese.engadget.com/2009/06/05/bidirectional-data-eyeglass/
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム(東芝、参考出展)
(参考)ちょっと未来の視線検出
http://robot.watch.impress.co.jp/docs/news/20090528_170341.html
„
画像処理で、ドライバーの顔の向きから視線を検出し、注視
している装置やエリアなどをシステムが認識していることを
教えてくれる。
„
„
„
„
„
„
„
„
„
ドライバーの状態を認識し、安全で快適な運転環境を提供
するシステム
将来:ドライバーの状態や嗜好に応じた情報提供を行なう
„
„
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム(東芝、参考出展)
ドライバーの頭部全体のワイヤーフレームモデルを作成
作成したワイヤーフレームモデルと、その時々の頭部の映像を照合
ドライバーの顔の向きを推定
顔の向きをもとに視線の方向を推定
最終的に注視方向を推定する
(将来) 個人認証
(将来) 開眼状態検出(=居眠りの検出)
(将来) 表情認識
「自動車技術展 人とくるまのテクノロジー展2009」
運転者状態認識システム(東芝、参考出展)
„
„
„
„
頭のワイヤーフレームモデル
顔の輪郭
顔の向き
目の抽出
虹彩の抽出
これらを総合して
「視線」
http://robot.watch.impress.co.jp/docs/news/20090528_170341.html
11
(参考)次世代メディアデザイン アイコンタクト(ATR)
„
„
„
„
(参考)次世代メディアデザイン アイコンタクト(ATR)
単眼視線推定技術
広視野・高解像度カメラで捉えた画像から3次元眼球 お
よび虹彩モデルを生成し、カメラ画像と照合して眼球中心
と虹彩を結ぶ視線方向を推定する。
1台のカメラ画像で視線推定が行え、かつ生成したモデ
ルから視線方向を直接推定するためキャリブレーション
作業が不要。
(将来の応用)来場者の視線を検出することにより、見て
いる場所や商品に関する情報提供が行える。新製品の
プロモーション用途やミュージアムメディアとしての応用を
目指している。
VR: Virtual Reality (仮想現実)
„
„
„
„
インタフェースの多様化:
人間の五感(視覚、聴覚、触覚+味覚、嗅覚)を通して
インタラクションするための技術
物理法則やルールに基づいた「世界」の構築
計算機内に現実世界を「模擬」 「投影」
システム→利用者
計算機内部に構成された仮想世界を「体験」
利用者→システム
計算機内部に構成された仮想世界に「働きかけ」
VR: Virtual Reality (仮想現実)
„
Virtual Realityを利用した入力・操作
„
„
„
利用者→システム
計算機内部に構成された仮想世界に「働きかけ」
視覚: アイカメラ(視線)
聴覚: 音声
触覚: 力の向き・強さ、
位置(Data Glove, Data Suit, 磁気センサ)、
速度(加速度)
VR: Virtual Reality (仮想現実)
„
Virtual Realityを利用した出力・提示
„
„
„
システム→利用者
計算機内部に構成された仮想世界を「体験」
視覚: Head Mount Display、液晶シャッター、
広視野角
聴覚: ステレオ音源、
触覚: 力覚ディスプレイ、
位置、
速度(加速度)
バーチャルリアリティ
„
„
「視差」
自分の体(位置・大きさ)を基準とした量
→ 立体に見える
& 対象の「絶対的な大きさ」も知覚
→ コンテンツ制作上の課題
12
[宿題1
[宿題1] Virtual Realityの基本要件
Realityの基本要件
„
世間的に「VR」と思われているシステムを
いくつか取り上げて、
VRの基本要件から批評してみよう。
„
„
„
„
没入感
インタラクティブ性
リアルタイム性
(例)アーケードゲーム、運転シミュレータ、ミクロ
アドベンチャー、など
Star Tours (Tokyo Disney Land)
Storm Rider (Tokyo Disney Sea)
„
感覚
„
没入感・立体感
„
インタラクティブ性
„
なぜ、多人数で
乗り込むのか?
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_021
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tds_014
Star Trek Experience (Las Vegas Hilton)
Micro Adventure (Tokyo Disney Land)
„
感覚
„
感覚
„
没入感・立体感
„
没入感・立体感
„
インタラクティブ性
„
インタラクティブ性
(*)Borgのアトラクションでは、簡易
ゴーグルを使用
„
なぜ、観客が
小さくならないと
いけないのか?
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_042
Magic Carpet (Tokyo Disney Sea)
バズ・ライトイヤーのアストロブラスター
(Tokyo Disney Land)
„
感覚
„
感覚
„
没入感・立体感
„
没入感・立体感
„
インタラクティブ性
„
„
„
インタラクティブ性
リアルタイム性
なぜ、
主たるコンテンツ
(登場人物)が
ジーニーなのか?
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tds_028
http://www.tokyodisneyresort.co.jp/tdr/japanese/fun/movie/#/movie/tdl_032
13
速報(1) 特別講演会
„
„
„
矢吹瑛明さん
6月29日
高度情報化社会の技術やビジネスのあり
方についての研究家・ビジョナリスト&セレ
ンディピティ
速報(2) 特別講演会
„
„
„
小阪裕司さん
7月8日または13日
感性を大事にしたビジネスのデザインの仕
方・実践の仕方を説く超売れっ子コンサル
タント&エバンジェリスト
速報(3) VR施設の見学会
速報(3) VR施設の見学会
加藤研究室(6月15日または22日?)
„ 3D物体検索システム+立体視
牧野研究室@情報(6月15日または22日?)
„ CAVE
„ 大画面偏光立体視スクリーン
„ CAVEアプリ・コンテンツ開発環境
„ Phillips製42インチ裸眼立体視ディスプレイWoW
„
„
Silicon Graphics WS + 液晶シャッター眼鏡
SHARP PC + 裸眼立体視
„
モバイルEYE-TREK 慧眼
„
電脳ショップ
„
Extra HI モニタディスプレイ
„
他
„
„
„
透過型HMD + 情報提供サービス
ユビキタスセンサー群
世界に数台しかない、最高の質感表示
参考図書
„
„
情報処理学会編
「エンサイクロペディア情報処理2000-2001」
第4章マルチメディアとバーチャルリアリティ
野村、澤田
「バーチャルリアリティ」
朝倉書店、1997年。
14