拡張現実感インタフェースを用いた対面協調作業のコミュニケーション過程

TVRSJ Vol.7 No.2, 2002
基礎論文
拡張現実感インタフェースを用いた
対面協調作業のコミュニケーション過程
清川清∗1∗2
∗2
ダニエル・ベルチャ
∗2
マーク・ビリングハースト
∗2
アルナブ・グプタ
Communication Behaviors in Face-to-face Collaboration using AR Interfaces
Kiyoshi Kiyokawa∗1 ∗2
Mark Billinghusrt∗2
Daniel Belcher∗2
Arnab Gupta∗2
Abstract –
本論文では拡張現実感 (AR) インタフェースを用いた対面協調作業におけるコミュニケーション過程を調
査した 2 つの実験について述べる．実験 1 では，AR インタフェースと共有スクリーンを用いる作業環境，
および計算機支援のない通常の対面作業環境の比較を行う．実験 2 では，3 種類の異なる AR ディスプレ
イを比較する．実験 1 の結果，AR インタフェースを用いた場合のコミュニケーションの振舞いは計算機支
援のない通常の対面作業環境とよく似ていることがわかった．また，実験 2 の結果，AR インタフェースに
用いるディスプレイの違いは，パフォーマンスや仮想物体の操作性への影響は小さいが，ノンバーバルなコ
ミュニケーション手がかりの伝わりやすさへの影響が大きいことが明らかになった．
We present an analysis of communication behavior in face-to-face collaboration using a
multi-user Augmented Reality (AR) interface. We have conducted two experiments. In
the first, we compare collaboration with AR technology to more traditional unmediated
and screen-based collaboration. In the second we compare collaboration with a variety
of different AR displays. Several measures are used to analyze communication behavior,
and we find that users exhibit many of the same behaviors in a collaborative AR interface
as in face-to-face unmediated collaboration. User communication behavior also changes
with the type of AR display used. We describe implications for the design of collaborative
AR interfaces and directions for future research.
Keywords
: augmented reality, computer supported collaborative work, awareness,
communication behavior
1.
はじめに
計算機を用いない対面協調作業では，作業者間の
「対話空間」は，視線やジェスチャなどのノンバーバル
な対話の手がかりを共有するために重要である．この
場合，文書作成などを行う「作業空間」（例えばテー
ブルの上）は対話空間の一部となっている（図 1 左）．
一方，計算機により同一地点の協調作業を支援する
図 1 左）対面協調作業，右）共有スクリーン協
調作業
Fig. 1 Face-to-face collaboration (left), desktop collaboration (right)
研究では，Xerox の CoLab のように共有電子白板を
提供するものが多い [33], [34]．共有スクリーンは文書
意は作業空間であるスクリーン面に向けられ，対話空
中心の対面協調作業の支援には有効であるが [10], [27]，
2 次元 GUI では 3 次元データの観察や操作が困難に
間にはそれほど注意が向けられない（図 1 右）．
なる [19]．また，スクリーンベースのインタフェース
ンが重要とされるが [13], [21]，実物体を用いてデジタ
では，実世界の対話空間と計算機内の作業空間（スク
ル世界とのインタラクションを提供するタンジブルイ
リーン面）が乖離してしまう．例えば共有スクリーン
ンタフェース [11], [36] を除いて，積極的に実物体を利
に向かい作業者が横並びになる場合，作業者の主な注
用する協調作業インタフェースは非常に少ない．
*1：通信総合研究所
*2：ワシントン大学ヒューマンインタフェーステクノロジ研究所
*1：Communications Research Laboratory
*2：University of Washington, Human Interface Technology
Laboratory
さらに，対面協調作業では実世界のインタラクショ
従って，実物体インタラクションを有しテーブルに
対座する協調作業と，GUI を用い共有スクリーンに対
して横並びで行う協調作業では，コミュニケーション
の振舞いに大きな違いが現れる可能性がある．
日本バーチャルリアリティ学会論文誌 Vol.7, No.2, 2002
作業者に囲まれる対話空間に電子映像を投影できれ
験において，パフォーマンス尺度が対話条件の違いに
ば，作業者と作業空間の位置関係に起因する問題は解
影響を受けないことが指摘がされている [23], [37]．こ
決できる．3 次元データを対話空間に表示できる手法
れは，条件に因らず与えられたタスクをこなそうと努
として，時分割式立体視システム [5], [16] やボリュー
力するためとの指摘もある [20]．つまり，実際には被
ムディスプレイ [1], [6], [32] が考えられるが，これらの
験者が何らかの負荷を受けていても，パフォーマンス
システムは映像の観察には適するが，実物体を操作イ
尺度では捉えきれていないことを意味する．従って，
ンタフェースに取り入れることが難しい．
本実験でもタスク完遂時間は測定するが，他の評価尺
そこで，実世界に直接 3 次元映像を重畳する拡張現
実感 (AR) 技術を用いて，作業空間と対話空間を融合
することを考える．協調 AR インタフェースは対面協
度の結果を総合的に考慮して議論を進める．
2. 2
発話過程尺度
調作業を支援し，対話を促進することが観察されてい
発話過程尺度は，発話された語数など，会話の詳細
る [25], [29]．これは，協調 AR インタフェースでは操
から明らかになる尺度である．Hockey らは，対話条
作者が仮想物体と同時に周囲の実環境も見れるので，
件の違いがタスクの結果ではなくタスクの過程におい
ノンバーバルな対話の手がかりが伝わりやすいためで
て観察され得ると指摘しており [12]，発話過程尺度は
ある [17]．また，AR インタフェースでは，実物体を
パフォーマンス尺度よりも条件間の差異に敏感である
用いて仮想物体を直感的に操作することができる．
と期待される．例えば，Rutter らは対面会議はビデ
従来，遠隔作業支援システムについては，インタ
オ会議よりも作業者の同時発話が頻繁に起こることを
フェースがコミュニケーション過程に及ぼす影響が調
見出している [28]．対話条件に敏感な評価尺度には以
査されている．例えば Isaacs は音声のみの会議とビ
下のようなものがある．
デオ会議を比較し，発話者の振舞いの違いを調査し
• 発話の交代頻度 [9], [24], [26]
• 同時発話の回数および持続時間 [9], [24], [31]
• 発話の中断回数 [7], [24]
• 発話の補完回数 [35]
• 対話の構造 [2], [7], [26]
• バックチャネル [24]
また，発話過程尺度の一種として，ジェスチャなど
のノンバーバルな振舞いを利用できる．Bekker らは
対面協調デザイン作業において観察されたジェスチャ
を運動的，空間的，指示的，その他という 4 種に分類
している [4]．本実験でも，実験の様子を全てビデオに
記録し，発話やジェスチャの振舞いを調査する．
た [15]．また，Krauss は通信遅延がコミュニケーショ
ンの振舞いに与える影響を調査している [18]．しかし，
協調 AR インタフェースに関する厳密なユーザスタ
ディはこれまでに報告されていない．
本論文では協調 AR インタフェースを用いた 2 つ
の実験について述べる．第 1 の実験では，AR インタ
フェース，共有スクリーン，計算機支援を用いない場
合の比較を行う．第 2 の実験では，3 種類の異なる AR
ディスプレイを比較する．実験は次節で述べる多面的
評価尺度により分析する．最後にまとめと今後の課題
について述べる．
2.
実験評価尺度
本節では，協調作業のコミュニケーション過程を調
2. 3
主観評価尺度
主観評価尺度は使いやすさや疲れやすさなど，被験
査するための評価手法について検討する．Monk は，
者自身の主観的印象による尺度であり，インタビュー
ビデオを介した遠隔協調作業の評価には多面的アプ
やアンケート用紙によりデータを得る [30]．主観評価
ローチが有効と指摘しており [22]，対面協調作業につ
尺度は外から観察しにくい被験者の心理的変化を測定
いても同様のことが言えると期待できる．そこで，次
する．例えば，パフォーマンスに変化がなくとも，ユー
に説明するパフォーマンス，発話過程，主観評価の 3
ザは常に音声のみよりもビデオのある遠隔会議システ
種の尺度を用いる．
ムを好むことが知られる [35]．
2. 1
パフォーマンス尺度はタスク完遂時間やエラー率な
Daly-Jones は対話条件の違いに敏感な質問事項を
幾つか提案している [9]．これには，
「私はパートナー
どの，実験タスクの結果から直接測定できる評価尺度
の存在を強く意識した」「私はパートナーが私の話に
である．協調作業に関する実験では，近年まで専らパ
集中しているかどうかがすぐにわかった」というよう
フォーマンス尺度が使われてきた．例えば，Chapanis
な，アウェアネスや対話の容易性に関する質問があり，
パフォーマンス尺度
は被験者が音声のみ，ビデオと音声，筆記，など 10 種
「はい」から「いいえ」までの数段階で回答される．本
類の対話条件を用い，ある内容の伝達に要する時間を
実験では Daly-Jones の質問事項を修正して用い，合
比較した [8]．しかし，これまでに幾つかの遠隔通信実
わせて実験後のインタビューも実施する．
清川・ビリングハースト・ベルチャ・グプタ : 拡張現実感インタフェースを用いた対面協調作業のコミュニケーション過程
3.
実験 1: 協調 AR インタフェースと共有スク
リーン式インタフェースの比較
本実験では，以下の 3 条件について，協調作業時の
コミュニケーション過程を比較する．
• FtF: 計算機支援を用いない対面協調作業
• AR: AR インタフェースによる対面協調作業
• Proj: 共有スクリーンによる協調作業
条件間の主な違いは作業者の視点とオブジェクトの
操作方法である（表 1 参照）．AR 条件は，作業空間
が対話空間に含まれ，実物体によってオブジェクトを
直接操作できるという点で，Proj 条件に比べて FtF
条件との類似性が高い．従って，FtF 条件と AR 条件
では Proj 条件に比べてノンバーバルなコミュニケー
ション要素を利用しやすいと予想できる．
しかし一方で，AR 条件では視野角，解像度，色再
現などの点で視覚が大きく制限される．また，本実験
では両眼立体視もサポートしない．これらの要因はコ
ミュニケーション過程にも影響を与え，AR 条件は FtF
条件よりも例えば主観評価尺度が劣ると予想できる．
3. 1
図 2 FtF 条件で用いた実物体モデル
Fig. 2 Model buildings used
図 3 AR 条件で用いたトラッキングカード
Fig. 3 Tracking cards
実験デザイン
2 人の被験者で行う協調都市デザインタスクを考案
した．これは実物体か仮想物体のビルディングモデル
9 つを，10 個のルールを満たすように 3 × 3 の街区に
配置するタスクである．10 個のルールは 5 つずつ紙
に書いて各被験者に渡される．被験者はルールを読ん
でも良いが互いに見せてはいけない．ルールには以下
のようなものがある（実際には英語を用いた）．
• 「映画館」の隣は「教会」である
• 「消防署」と「銀行」は道路向かいである
• 「市役所」は街の真中である
各被験者ペアは，各ビルの形状と名前の対応を十分
覚えた後に，次の 3 条件についてそれぞれ制限時間 7
分でタスクを行った．
FtF: 対面協調作業．被験者はテーブル越しに対面
し実物体モデルを用いる（図 2 参照）．
AR: 協調 AR インタフェースによる協調作業．被
験者は画像認識用マーカのついたカードを与えられ
（図 3），小型カメラの付いたヘッドマウントディスプ
レイ (HMD) （DaeYang 社 CyVisor, 水平画角 30 度，
SVGA）を装着する（図 4）．被験者は単眼ビデオシー
表1
各条件の提示するアフォーダンスの違い
Table 1 Technology affordances of each condition
対面協調作業拡張現実感
共有スクリーン
ユーザ
肉眼
プライベートパブリック
の視点
独立視点
独立視点
共通視点
視点変更容易視点変更容易視点変更困難
インタラ実物体操作
タンジブル
マウス
クション両手操作
両手操作
片手操作
図 4 AR 条件の様子
Fig. 4 AR condition
図 5 AR 条件の画面例
Fig. 5 AR view
スルー方式によりカードに重畳された仮想物体のビル
を見る [3]（図 5）．
Proj: 共有スクリーンによる協調作業．被験者は投
影スクリーンに対し横並びで座る（図 6）．テーブル
にはボタンのついた 3 次元トラッカ（Polhemus Fas-
trak）が 2 つあり，スクリーンには仮想物体と街区，3
次元ポインタ 2 つが示される（図 7）．被験者はデバ
イスに連動する 3 次元ポインタを用い，ボタンでビル
の把持や解放を行う．マウスでなく 3 次元デバイスを
用いたのは 2 名の同時操作が可能であり，また操作自
由度を他の条件と揃えるためである．
日本バーチャルリアリティ学会論文誌 Vol.7, No.2, 2002
350
300
Time (s)
250
200
150
100
50
0
FtF
Proj
AR
図 8 平均タスク完遂時間
Fig. 8 Average solution time
図 6 Proj 条件の様子
Fig. 6 Projection condition
30.00%
25.00%
20.00%
15.00%
10.00%
5.00%
0.00%
FtF
Proj
AR
図 9 指示語の使用率
Fig. 9 Percentage of deictic phrases
30%
図 7 Proj 条件のインタフェース
Fig. 7 The projection interface
3. 2
All
25%
Some
20%
15%
10%
結果
5%
被験者は英語を母語とする 21∼38 歳の成人 28 名
14 組（女性 6 組，男性 8 組）であった．順序の影響
を抑えるため，被験者ペアごとに 3 条件の実施順序を
変更した．実験中に携帯電話が鳴るなど信頼できない
データを取り除き，最終的に 12 組のデータを得た．
パフォーマンス指標の結果
0%
FtF
図 10
Proj
AR
質問的発話の割合．All は全平均，Some
は同定質問を除いた結果
Fig. 10 Average percentage of questions
asked; All is the complete results,
Some is the result w/o identification.
図 8 に平均タスク完遂時間を示す．FtF 条件のタス
全発話の中で，“this”, “that”, “there” などの指示
ク完遂時間が最も短く，一元配置分散分析による統計
語が使われた割合を図 9 に示す．FtF と AR 条件では
的有意差があった（F (2, 33) = 8.31, P < 0.01）．
指示語の使用率が高い（F (2, 33) = 5.77, P < 0.01）．
発話過程指標の結果
[同時発話]
発話の割込みや発話の補完など，2 名が同時に発話
した回数を調べた．表 3 に全発話に対する同時発話の
割合を示す．同時発話の発生率は条件間でほぼ一定し
ている（F (2, 30) = 0.005, P = 0.99）．
[質問的発話]
記録した映像と音声を精査して，以下の項目につい
て発話やジェスチャの様子を分析した．
• 発話の交替頻度
• 発話された指示語の数
• 発話ごとの平均語数
• 生起したジェスチャの数と種類
[発話の交替]
表 2 に発話ごとの平均語数と発話の交替頻度を示す．
いずれも条件間で有意差は見られない（発話ごとの平
均語数: F (2, 30) = 1.37, P = 0.27，発話の交替頻度:
かった（図 10 の “Some”，F (2, 11) = 0.26, P = 0.77）．
表 2 発話ごとの平均語数と発話の交替頻度
Table 2 Average words per turn and
turns/second
FtF
9.51
0.30
0.05）．しかし，AR 条件では HMD の視認性が悪いた
め「それは何か？」といったビルの同定質問が多かった．
そこで，同定質問を除いたところ，条件間に全く差がな
F (2, 30) = 0.23, P = 0.79）．
[指示語]
発話ごとの平均語数
発話の交替回数 / 秒
1 つ以上の質問が含まれる発話回数の全発話に占め
る割合を調べた（図 10 の “All”）．AR 条件では質問
がよくなされ，有意差があった（F (2, 11) = 4.59, P <
Proj
8.21
0.32
AR
8.99
0.31
[ジェスチャ]
表3
全発話に対する同時発話の割合
Table 3 Simultaneous speech
平均
標準偏差
FtF
13.7%
6.2%
Proj
13.8%
4.7%
AR
13.6%
3.8%
清川・ビリングハースト・ベルチャ・グプタ : 拡張現実感インタフェースを用いた対面協調作業のコミュニケーション過程
100.0%
7
80.0%
60.0%
40.0%
FtF
6
Proj
5
AR
4
20.0%
3
0.0%
2
Other
図 11
Pick
Point
Collab
次の 4 種のジェスチャの生起した回数を調査した．
• POINT: 指差し動作
• PICK: ビルの把持や移動に関する動作
• COLLAB: ビルの手渡しなどの協調的動作
• OTHER: その他の動作
図 11 に各条件での 4 種のジェスチャの占有率を示す．
Proj 条件では PICK が 66%と大半を占め，POINT は
30%以下である．一方，FtF と AR 条件では PICK と
POINT は同程度である．PICK と POINT の占有率は
条件間で有意差がある（PICK: F (2, 63) = 8.97, P <
0.001，POINT: F (2, 63) = 4.89, P < 0.05）．
主観評価指標の結果
[アンケート]
各条件の後に，インタフェースと協調作業に関する
アンケートを実施した．各質問は「非常に困難」から
「非常に容易」の 7 段階で回答させた．
協調作業の容易性1 と，相手の理解しやすさ2 は，FtF
が最も容易であり，有意差があった（協調作業の容易
性: 図 12 左, F (2, 69) = 5.96, P < 0.005，相手の理
解しやすさ: 図 12 右, F (2, 69) = 6.31, P < 0.005）．
AR と Proj の間に有意差は見られない．
次に，ビルの把持しやすさ 3 と，移動しやすさ 4 で
は，AR オブジェクトの操作が実物体と同程度に容易
と感じており，Proj 条件との強い有意差が見られた
（把持: 図 13 左, F (2, 39) = 37.8, P < 1 × 10−8 , 移動:
図 13 右, F (2, 39) = 28.4, P < 1 × 10−7 ）．
最後に，パートナーの見ている場所や指差している
場所の把握しやすさ 5 6 でも，FtF 条件が他より遥か
に容易であり，強い有意差がある（見ている場所: 図
14 左, F (2, 69) = 25.4, P < 1 × 10−8 , 指差している
場所: 図 14 右, F (2, 69) = 14.2, P < 1 × 10−4 ）．AR
と Proj の間に有意差は見られない．
[インタビュー]
被験者 14 名に対し，実験完了後に 15∼20 分のイン
タビューを実施した．典型的コメントを列挙する．
1：How easily could you work with the other person?
2：How easily could you understand your partner?
3：How easily could you pick up the buildings?
4：How easily could you move the buildings?
5：How easily could you tell where the other person was looking?
6：How easily could you tell where the other person was
pointing?
Proj
AR
1
Working
ジェスチャの内訳
Fig. 11 Percentage breakdown of gestures
FtF
図 12
Understanding
協調作業のしやすさと互いの理解しやす
さ (1= 非常に困難, 7= 非常に容易)
Fig. 12 Ease of collaboration (1=Not very
easy, 7=Very easy)
7
6
5
FtF
4
Proj
3
AR
2
1
Picking
Moving
図 13 ビルディングの把持と移動のしやすさ
Fig. 13 Ease of interaction with the buildings
7
6
FtF
5
Proj
4
AR
3
2
1
Looking
図 14
Pointing
パートナーの見ている場所と指差してい
る場所の理解しやすさ
Fig. 14 Ease of perception of non-verbal cues
• AR 条件の肯定的コメント
– 実物体を掴んで操作するのでリアルである
– 相手のジェスチャがよく見える
• AR 条件の視覚的不具合に関するコメント
– 視界が悪い（視野角，解像度，ぼけ）
（10 名）
– 視野が狭いので，ルールの紙，ビル，パート
ナーを意識的に切替えて見る必要がある
– アイコンタクトが取れない
– トンネル越しに覗いているようだ
– 見ている世界に自分がいる気がしない
• AR 条件の画像処理の不具合に関するコメント
– ビルが明滅する（7 名）
– 1 つのカードに何種類かのビルが現れる
– ビルが消えるので指差しを躊躇する
• AR 条件のその他の否定的コメント
– 独立視点では各自単独で作業する感じがする
• Proj 条件への肯定的コメント
– 共有視点なので相手がどこを見ているか知る
必要がない（4 名）
– 共有視点なので共通のゴールに対して作業す
る感覚が得られる
日本バーチャルリアリティ学会論文誌 Vol.7, No.2, 2002
図 15
液晶ディスプレイ
Fig. 15 LCD panel
図 16
ハンドヘルドディスプレイ
Fig. 16 Hand held display
• Proj 条件への否定的コメント
– 仮想物体の操作が困難（8 名）
– 自分と相手の手が頻繁にぶつかる（6 名）
– スクリーンと自分の手が同時に見えづらい
– 互いに対面していないので協調作業が困難
3. 3
考察
全体として，被験者自身は AR と FtF 条件がそれ
ほど似ていると感じていないにも関わらず，生起した
ジェスチャや会話の振舞いは似通っており，Proj 条件
の場合とは大きく異なることが分かった．
例えば，指示語の使用頻度や指差し動作の頻度など
は FtF と AR 条件でよく似た傾向が見られた．また，
実物体を直接操作するタンジブルインタフェースの採
用により，HMD の視界が見にくいにも関わらず，被
験者は AR 条件において FtF 条件と同程度に物体の
把持や移動が容易であったと感じている．
インタビューからは，AR 条件が FtF 条件に劣る多
くの原因が，HMD や画像処理の技術的制約に因るこ
とがわかる．例えば，AR 条件では FtF 条件よりも指
差しや注視の対象が相手に伝わりにくい．これは，指
差しを行うとビルが消えたり隠蔽関係がくずれる [14]，
ディスプレイの解像度や視野角が不十分である，など
の理由によると考えられる．
4.
実験 2: 異なるアフォーダンスを備える AR
ディスプレイの比較
実験 1 で用いた HMD は狭い水平画角 (31 度) 以外
の周辺視が利用できず，ノンバーバルな対話の手がか
りを自然に伝えるには不十分であったと考えられる．
一方，AR ディスプレイには頭部搭載型，ハンドヘル
ド型，デスクトップ型などの様々な構成が考えられ，
それぞれのディスプレイが提示するアフォーダンスの
違いが協調作業に与える影響も変化すると考えられる．
• LCD: カメラ付 5 インチ液晶パネル（図 15）．
• HHD: ハンドヘルドディスプレイ（図 16）．
Olympus FMD-150 の耳掛部を取り外し，カメラと
取手を取付けたもの．
• HMD: 単眼ビデオシースルー HMD（図 17）．
Canon GT-270 にカメラを取付けたもの．
各ディスプレイの特性を表 4 に示す．画素数や視野
角に大きな差はないが，LCD の画角は眼とパネルの
距離に反比例する．例えば，腕の長さでパネルを持つ
場合，画角は 5 度程度となる．
より大きな違いはサポートする周辺視の程度である．
HMD は常に装着するため，その画角を超える周辺視
は全く利用できない．HHD は実世界と AR シーンを
容易に切替えて見ることができる．LCD はそれらを
同時に観察でき，周辺視が最も自然に利用できる．
従って，周辺視を考慮すると HHD と LCD では
HMD よりもコミュニケーションが円滑に行われる可
能性がある．また，HHD は LCD よりも AR シーン
の視野が広いため，パフォーマンス指標に優れる可能
性がある．なお，本実験では調達できた台数の都合に
より HHD と HMD で異なるディスプレイを用いた．
4. 1
実験デザイン
実験 1 と同じ都市デザインタスクを用いた．被験者
ペアは以下の 4 条件でこのタスクを行う．
• FtF: 対面協調作業．実験 1 の FtF 条件に同じ．
• LCD: 被験者は LCD を持ち画像認識用マーカ
の書かれたカードを操作する．
• HHD: LCD 条件と同様であるが，被験者は
HHD を使用する．
• HMD: LCD 条件と同様であるが，被験者は
HMD を使用する．
表 4 各ディスプレイの比較
Table 4 Comparison of each display
タスクに応じた適切な AR システムを構築するには，
こうした特性の違いを理解することが重要である．そ
こで実験 2 では，計算機を用いない対面協調作業と，
次の 3 種の AR ディスプレイを用いる協調作業のコ
ミュニケーション過程を比較する．
図 17 ヘッドマウントディスプレイ
Fig. 17 Head mounted display
画素数
使用法
水平視野角
周辺視
視覚位置覚整合性
LCD
224,000
片手/両手
持ち方次第
常時利用
悪い
HHD
240,000
片手
37.5 度
時分割利用
良い
HMD
270,000
手ぶら
31 度
利用不可
良い
Time (s)
清川・ビリングハースト・ベルチャ・グプタ : 拡張現実感インタフェースを用いた対面協調作業のコミュニケーション過程
700
35%
600
30%
All
Build.
25%
500
20%
400
15%
300
10%
200
5%
100
0%
0
FtF
FtF
LCD
図 18
HHD
LCD
HHD
HMD
HMD
図 19
平均タスク完遂時間
Fig. 18 Average solution time
各ペアはまず FtF 条件を行い，その後 AR の 3 条件
をペアごとに異なる順序で行う．実験 1 と同様に各被
験者は 9 つのビルの配置が満たすべき計 10 個のルー
ルを 5 つずつ与えられる．なお，実験 1 では制限時間
内にタスクを完了する場合が多かったため，今回は制
質問的発話の割合；All は全平均，Build
は同定質問のみ
Fig. 19 Average percentage of questions
asked; All is the complete results.
Build is the results of identification.
*+*
+,
"#"$,
"#-,
限時間を設けずタスクの完了時点で実験終了とした．
4. 2
結果
被験者は英語を母語とする 20∼37 歳までの成人 24
名 12 組（女性 4 組，男性 8 組）であり，実験 1 の被
験者はいない．
パフォーマンス指標の結果
図 18 に平均タスク完遂時間を示す．時間制限がな
いためか実験 1 に比べ時間を要している．FtF 条件
が最も早く HHD がそれに次ぐが統計的有意差はない
（F (3, 44) = 1.13, P = 0.35）．
実験 1 と同様に，記録した映像と音声を精査した．
しかし，2∼15 分というタスク完遂時間の長さとバラ
つきを考慮し，調査対象は 2 分のみとした．
[発話の交替]
表 5 に発話ごとの平均語数と発話の交替頻度を示
す．FtF 条件では平均語数が多く有意差があったが
（F (3, 48) = 3.56, P < 0.05），交替頻度には有意差は
なかった（F (3, 48) = 0.63, P = 0.60）．
[指示語]
指示語が使われた発話回数の割合に条件間で有意差
はなかった（表 6, F (3, 48) = 0.32, P = 0.81）．
[質問的発話]
1 つ以上の質問を含む発話回数の全発話に対する割
合に条件間で有意差はない（図 19 “All”, F (3, 48) =
0.15, P = 0.92）．しかし，ビルの同定に関する質問
Table
発話ごとの平均語数と発話の交替頻度
5 Average words
turns/second
FtF
13.21
0.181
発話ごとの平均語数
発話の交替回数 / 秒
表6
per
turn
and
LCD
9.79
0.197
HHD
11.00
0.187
HMD
10.50
0.207
Table 6 Percentage of deictic phrases
平均
標準偏差
LCD
36.8%
9.1%
!#"$
% !&
%'!)(
図 20 ジェスチャの内訳
Fig. 20 Percentage breakdown of gestures
の頻度には有意差がある（同図 “Build”, F (3, 48) =
4.95, P < 0.01）．この場合，AR の 3 条件間でも有意
差に近い偏りがあった（F (2, 36) = 2.61, P = 0.08）．
つまり，FtF と HHD では同定質問が少なかった．
[ジェスチャ]
実験 1 と同様の 4 種のジェスチャの占有率を図 20
に示す．FtF 条件では AR 条件よりも PICK の割
合が小さい（F (3, 100) = 3.17, P < 0.05）．逆に，
FtF 条件では AR 条件よりも POINT の割合が大きい
（F (3, 100) = 2.98, P < 0.05）．しかし，AR 条件間に
有意差は見られない（把持: F (2, 75) = 1.59, P = 0.21,
指示: F (2, 75) = 1.33, P = 0.27）．
[作業姿勢]
被験者はタスク開始時に座っているがタスク中は自
由に立ち上がってよい．被験者が立っていた時間率を図
21 に示す．被験者は FtF 条件ではほぼ常に座り，LCD
条件では広い範囲をカメラで捉えるために，半分以上
指示語の使用率
FtF
33.1%
17.1%
図 21 立ち上がって作業した時間率
Fig. 21 Percentage of time standing
発話過程指標の結果
表5
HHD
32.9%
9.6%
HMD
35.5%
10.2%
の時間立っていた．全条件間および AR 条件間でそれ
ぞれ有意差があった（全条件: F (3, 92) = 12.48, P <
0.0001, AR 条件: F (2, 69) = 3.73, P < 0.05）．
主観評価指標の結果
[アンケート]
実験 1 と同じアンケートを実施した．協調作業の容
易性と相手の理解しやすさは，FtF 条件が最も容易で
日本バーチャルリアリティ学会論文誌 Vol.7, No.2, 2002
7
7
6
FtF
5
6
LCD
4
HHD
3
HMD
5
4
2
1
Working
図 22
Understanding
HHD
HMD
1
協調作業のしやすさと互いの理解しやすさ
Concentrating
図 25
Presence
Looking
Listening
プレゼンスに関する質問の平均評価値
Fig. 25 Average presence question ratings
7
6
FtF
5
LCD
4
HHD
3
HMD
2
1
Picking
Moving
ビルディングの把持と移動のしやすさ
Fig. 23 Ease of interaction with the buildings
7
FtF
6
LCD
HHD
5
HMD
4
3
2
1
Looking
図 24
LCD
2
Fig. 22 Ease of collaboration
図 23
FtF
3
Pointing
パートナーの見ている場所と指差してい
る場所の理解しやすさ
Fig. 24 Ease of perception of non-verbal cues
あり，有意差があった（協調作業の容易性: 図 22 左,
F (3, 92) = 8.53, P < 0.0001, 相手の理解しやすさ: 図
22 右, F (3, 92) = 5.01, P < 0.01）．AR 条件では，
HHD が最も容易と感じているが，有意差はない．
次に，ビルの把持と移動の容易さも，FtF 条件が
最も容易と感じており，有意差が見られた（把持: 図
23 左, F (3, 68) = 6.23, P < 0.01, 移動: 図 23 右,
F (3, 68) = 3.79, P < 0.05）．LCD パネルは少なくと
も片手で持ち，時に両手で持つ必要があったにも関わ
らず，ビルの操作に不都合を感じていない．
さらに，パートナーの見ている場所や指差している
場所の把握しやすさでも，FtF が最も容易であり，条
件間で強い有意差が見られた（見ている場所: 図 24
左, F (3, 92) = 9.98, P < 0.00001, 指差している場所:
図 24 右, F (3, 92) = 15.71, P < 1 × 10−7 ）．AR 条件
間では，HMD が最も困難であり，見ている場所につ
いて有意差があり（F (2, 69) = 3.81, P < 0.05），指
差している場所についても有意差に近い偏りがあった
（F (2, 69) = 2.54, P = 0.08）．
予想通りユーザの自然な視界が覆われるほど，パー
トナーのノンバーバルな動作が知覚しにくいことが分
かる．これは，以下の文について否定から肯定までの
7 段階で回答させた結果からも裏付けられる．
• I could tell when my partner was concentrating
• I was very aware of the presence of my partner
• I could tell when my partner was looking at me
• I could tell when my partner was listening to me
図 25 と表 7 にこれらの結果を示す．FtF 条件が各
質問で最も評価が高く，有意差が見られた．AR 条件
間では，パートナーの存在を意識する度合いとパート
ナーが自分を見ることの知覚しやすさで有意差があり，
やはり HMD が他の AR 条件に比べ評価が低い．
[インタビュー]
被験者 12 名に対し，実験完了後に 15∼20 分のイン
タビューを実施した．典型的コメントを列挙する．
• LCD 条件に関する肯定的コメント
–
–
–
–
パートナーが見やすい（10 名）
顔を動かさなくてもパートナーが見える
顔に何もつけないので会話しやすい（3 名）
画面上で興味対象を指差せる（4 名）
• LCD 条件に関する否定的コメント
– 視野角が狭い（4 名）
– 仮想物体が平坦に見えた（2 名）
– 持ちにくい（2 名）
• HHD 条件に関する肯定的コメント
– 着脱が簡単（5 名）
– 顔から外して何もつけずに対話できる（4 名）
– 周辺視がそれなりに利用できる
• HHD 条件に関する否定的コメント
– 頭と連動して手を動かすのが不便（5 名）
– パートナーと距離を感じる（2 名）
• HMD 条件に関する肯定的コメント
– 両手が使える（7 名）
– 見たい方向を見るだけで視界が変わる（7 名）
– 完全に没入する感覚が楽しい（2 名）
• HMD 条件に関する否定的コメント
– パートナーが見づらい，距離を感じる（10 名）
表7
プレゼンスに関する質問の分散分析結果
Table 7 ANOVA scores for presence question
ratings
全 4 条件
AR 条件のみ
F (3, 92) P 値
F (2, 69) P 値
集中している
3.60 < 0.05
2.62 0.08
存在を意識する
9.58 < 1×10−4
3.22 < 0.05
見ている
12.82 < 1×10−6
9.73 < 0.001
聞いている
5.11 < 0.01
0.98 0.38
清川・ビリングハースト・ベルチャ・グプタ : 拡張現実感インタフェースを用いた対面協調作業のコミュニケーション過程
4. 3
い．そこで，AR インタフェースを共有スクリーンや
考察
実験 2 では，AR ディスプレイの違いが協調作業の
コミュニケーション過程に与える影響を調査した．AR
PDA などと組合せた新しい作業環境を開発し，評価
実験を行う予定である．
の 3 条件は FtF 条件よりも全体にかなり劣る結果と
なった．これは常に FtF を最初に実施した影響もある
が，ディスプレイ技術の未熟さを示すものでもある．
AR の 3 条件で発話の振舞いに大きな差はない．発
話あたりの平均語数，発話の交替頻度，指示語の使用
率などはほぼ一定であった．HHD では同定質問が少
ないが，これは LCD では AR シーンの画角が狭く，
HMD では周辺視が利用できないためと思われる．
ノンバーバルな要素について，両手操作，片手操作，
ハンズフリーといったディスプレイのアフォーダンス
の違いにも関わらず，把持や移動の挙動は AR 条件間
で有意差がなかった．一方，ノンバーバルな対話の手
がかりの知覚に対するディスプレイの影響は非常に大
きく，概して（LCD のように）周辺視の程度が大き
く，実世界がより自然に見えるほど，パートナーを互
いに知覚しやすいことが分かる．
すなわち，ディスプレイのアフォーダンスの違いは
AR コンテンツとのインタラクションや与えられたタ
スクの遂行自体にはあまり影響がないが，ノンバーバ
ルなコミュニケーション手がかりの伝わりやすさには
大きな影響がある．
5.
まとめと今後の課題
本論文の実験結果は以下のようにまとめられる．(1)
実物体を用いるタンジブルインタフェースは AR コン
テンツの操作性に優れる．(2) AR ディスプレイの構
成の違いは，パフォーマンスや仮想物体の操作性への
影響は小さいが，ノンバーバルなコミュニケーション
手がかりの伝わりやすさへの影響は大きい．(3) 視野
が狭く顔が覆われる現状の HMD は協調作業には必ず
しも適さない．逆にハンドヘルドディスプレイが優れ
る場合が多い．
本論文では用いたタスクは 1 種類だが，異なるタス
クを用いれば異なる結果になるであろう．会話的要素
を多く含むタスクは対話条件の影響を受けやすいと考
えられるので，今後は物体操作の割合がより小さいタ
スクについても実験したい．
また，本実験の AR ディスプレイは立体視でなく単
眼視（両眼同一像視）であった．対面協調作業では近
距離の物体操作が多く，立体視の有無の影響は大きい
と考えられる．今後は両眼視と単眼視の比較，ビデオ
シースルーと光学シースルーの比較なども行いたい．
AR の最大の利点のひとつは，AR インタフェース
が他の作業環境とシームレスに融合できる点である．
しかし，そうした統合手法についての研究はまだ少な
参考文献
[1] Actuality
System’s
Website:
http://www.actuality-systems.com/
[2] Anderson, A., Newlands, A., Mullin, J., Fleming, A., Doherty-Sneddon, G., Velden, J. vander,
Impact of videomediated communication on simulated service encounters. Interacting with Computers, Vol.8, no.2, pp.193-206, 1996.
[3] ARToolKit
website:
http://www.hitl.washington.edu/artoolkit/
[4] Bekker, M. M., Olson, J. S., Olson G. M., Analysis of gestures in face-to-face design teams provides guidance for how to use groupware in design,
In Proceedings of the Symposium on Designing Interactive Systems, pp.157-166, 1995.
[5] Bimber, O., Frohlich, B., Schmalstieg, D., Encarnacao, L.M. The Virtual Showcase. IEEE Computer Graphics & Applications, Vol.21, No.6,
pp.48-55, 2001.
[6] Blundell, B. G., Schwarz, A.J., A Graphics Hierarchy for the Visualization of 3D Images by Means
of a Volumetric Display System. In Proceedings of
the IEEE Region 10’s Ninth Annual International
Conference, Vol.1, pp.1-5, 1994.
[7] Boyle, E., Anderson, A., Newlands, A., The effects of eye contact on dialogue and performance
in a co-operative problem solving task. Language
and Speech, 37 (1), pp.1-20, 1994.
[8] Chapanis, A. (1975) Interactive Human Communication. Scientific American, Vol.232, pp.36-42,
1975.
[9] Daly-Jones, O., Monk, A., Watts, L. Some Advantages of Video Conferencing Over High-quality Audio Conferencing: Fluency and Awareness of Attentional Focus. Int. J. Human-Computer Studies,
Vol.49, pp.21-58, 1998.
[10] Elrod, S., et al. LiveBoard: A large interactive display supporting group meetings, presentations, and remote collaboration. In Proceedings of
CHI 92: Human Factors in Computing Systems,
pp.599-607, 1992.
[11] Fjeld, M., Voorhorst, F., Bichsel, M., Lauche, K.,
Rauter-berg, M., H. K., Exploring Brick-Based
Navigation and Composition in an Augmented Reality. In Proceedings of HUC’ 99, pp.102-116, 1999.
[12] Hockey, R., Stress and Fatigue in Human Performance. Wiley, Chichester, 1983.
[13] Hutchins, E., Cognition in the Wild. MIT Press,
Cambridge, MA, 1996.
[14] 今本健児, 加藤博一, 川本佳代, 橘啓八郎, 拡張現実感環
境における仮想物体操作時のコミュニケーションに関
する検討, 信学技報 HIP, Vol.101, No.594, pp.31-36,
2001.
[15] Isaacs, E., Tang, J., What video can and can’t do
for collaboration: A case study. In Proceedings of
the ACM Multimedia 93 Conference, pp.199-206,
1993.
[16] Kitamura, Y., Konishi, T., Yamamoto, S.,
Kishino, F. Interactive Stereoscopic Display for
Three or More Users, In ACM SIGGRAPH 2001
(Computer Graphics, Annual Conference Series),
日本バーチャルリアリティ学会論文誌 Vol.7, No.2, 2002
pp.231-239, 2001.
[17] Kiyokawa, K, Takemura, H., Yokoya, N., A Collaboration Supporting Technique by Integrating a
Shared Virtual Reality and a Shared Augmented
Reality, Proceedings of the IEEE International
Conference on Systems, Man and Cybernetics
(SMC ’99), Vol.VI, pp.48-53, 1999.
[18] Krauss, R., Bricker, P., Effects of transmission delay and access delay on the efficiency of verbal
communication. J. Acoustic Soc. Amer., Vol.41.2,
pp.286-292, 1967.
[19] Li-Shu, Flowers, W. Teledesign: Groupware
User Experiments in Three-Dimensional Computer Aided Design. Collaborative Computing,
Vol.1(1), pp.1-14, 1994.
[20] McCarthy, J., Monk, A., Measuring the Quality of
Computer- Mediated Communication. Behaviour
& Information Technology, Vol.1 3, No.5, pp.311319, 1994.
[21] Minneman, S., Harrison, S, A Bike in Hand: a
Study of 3-D Objects in Design. In Analyzing Design Activity, N. Cross, H., Christiaans, K. Dorst
(Eds), J. Wiley, Chichester, 1996.
[22] Monk, A.F., McCarthy, J., Watts, L. & DalyJones, O., Measures of process, in Thomas, P.J.
(ed) CSCW requirements and evaluation, Berlin:
Springer-Verlag, pp.125-139, 1996.
[23] Ochsman R.B., Chapanis A. The Effects of 10
Communication Modes on the Behaviour of Teams
During Co-operative Problem-Solving. International Journal of Man-Machine Studies, Vol.6,
pp.579-619, 1974.
[24] O’Conaill, B., Whittaker, S., Characterizing, predicting and measuring video-mediated communication: a conversational approach. In K. Finn, A.
Sellen, S. Wilbur (Eds.), Video mediated communication. LEA: NJ, 1997.
[25] Ohshima, T., Satoh, K., Yamamoto, H., Tamura,
H., AR2 Hockey system: A collaborative mixed reality system. Trans. VRSJ, Vol.3, No.2, pp.55-60,
1998.
[26] O’Malley, C., Langton, S., Anderson, A., DohertySneddon, G., Bruce, V., A comparison of face-toface and videomediated interaction. Interacting
with Computers, Vol.8, No. 2, pp.177-192, 1996.
[27] Pedersen, E.R., McCall, K., Moran, T.P., Halasz,
F.G., Tivoli: An Electronic Whiteboard for Informal Workgroup Meetings. In Proceedings of Human Factors in Computing Systems (InterCHI 93)
ACM Press, pp.391-398, 1993.
[28] Rutter, D., Stephenson, G., Dewey, M., Visual
Communication and the content and style of conversation. British Journal of Social and Clinical
Psychology, Vol.17, pp.17-21, 1981.
[29] Schmalsteig, D., Fuhrmann, A., Szalavari, Z., Gervautz, M., Studierstube - An Environment for
Collaboration in Augmented Reality. In CVE ’96
Workshop Proceedings, 19-20th September 1996.
[30] Sellen, A. Speech Patterns in Video-Mediated Conversations. In Proceedings CHI ’92, ACM Press,
pp.49-59, 1992.
[31] Sellen, A. Remote Conversations: The effects of
mediating talk with technology. Human Computer
Interaction, Vol.10, No.4, pp.401-444, 1995.
[32] Soltan, P., Trias, J., Dahlke, W., Lasher, M., McDonald, M., Laser-Based 3D Volumetric Display
System: Second Generation. In Interactive Tech-
[33]
[34]
[35]
[36]
[37]
nology and the New Paradigm for Technology, IOP
Press, pp.349-358, 1995.
Stefik, M., Foster, G., Bobrow, D., Kahn, K., Lanning, S., Suchman, L., Beyond the Chalkboard:
Computer Support for Collaboration and Problem
Solving in Meetings. In Communications of the
ACM, Vol.30, No.1, pp.32-47, 1987.
Streitz, N.A., Geisler, J., Holmer, T., Konomi,
S., Muller-Tomfelde, C., Reischl, W., Rexroth, P.,
Seitz, P., Steinmetz, R., i-LAND: An interactive
Landscape for Creativity and Innovation. In ACM
Conference on Human Factors in Computing Systems (CHI ’99), ACM Press, pp.120-127, 1999.
Tang, J., Isaacs, E. (1992) Why Do Users Like
Video? Studies of Multimedia-Supported Collaboration. Sun Microsystems Laboratories, Technical
Report, SMLI TR-92-5, December 1992.
Ullmer, B. Ishii, H., The metaDESK: Models and
Prototypes for Tangible User Interfaces. In Proceedings of Symposium on User Interface Software
and Technology (UIST ’97), ACM Press, pp.223232, 1997.
Williams, E., Experimental Comparison of Faceto-Face and Mediated Communication: A Review.
Psychological Bulletin, Vol.84, No.5, pp.963-976,
1977.
(2002 年 1 月 15 日受付)
［著者紹介］
清川清（正会員）
1998 年奈良先端大博士後期課程了．同
年学振研究員．1999 年通総研研究員．博
士（工学）．人工現実感，拡張現実感，
CSCW 等の研究に従事．現在ワシント
ン大学ヒューマンインタフェーステクノ
ロジ研究所（HIT Lab.）客員研究員．
マーク・ビリングハースト
He received his M.S. and Ph.D in information science from the HIT Lab.
His research areas include Augmented
and Virtual Reality, wearable computing. He has worked at ATR, British
Telecom and the MIT Media Lab.
ダニエル・ベルチャ
He was an intern at the HIT Lab
in 2001. He is an undergraduate and
research assistant at Brown University’s VEN Lab. His research interests
include spatial cognition, navigation,
representation, and communication.
アルナブ・グプタ
He received his B.S. in bioengineering from the Johns Hopkins University
and is currently pursuing his M.S. at
the HIT Lab. His research interests include biomedical applications and advanced human interfaces.

Download Report