情報処理学会第 65 回全国大会論文集,5,439-442,2003 Paper presented at the Annual Conference of Information Processing Society of Japan 3 次元マルチユーザ仮想空間におけるコミュニケーション 表情アバターによる感情表出と理解 Communication in 3D-MUD (Multi User Dungeon): Encoding and Decoding of Emotion by Avatar’s Facial Expression 京都大学大学院教育学研究科 Graduate School of Education，Kyoto University, 楠見 孝・米田英嗣・小島隆次 Takashi KUSUMI， Hidetsugu KOMEDA， and Takatsugu KOJIMA This research investigated the effect of use the three-dimensional online chat environment (MUD: Multi User Dungeon) on the communication and motivation of learners. Specifically, we examined the effect of facial expression of avatars (i.e., graphical identities or characters) on the conversation. In experiment 1, 15 pairs of university students chatted in English using the smiley-based facial expression system or no-facial expression system. They evaluated usability of each system. As a result, the facial expression system was evaluated better than no-facial expression system. In experiment 2, 16 pairs of university students chatted in Japanese using the icon-based facial expression system or no facial expression system. They guessed their partner's emotional states during the chat and then, evaluated usability of each system. Using the facial expression system, the participants found easier to comprehend their partner's emotions and to express their own emotions. The participants were more accurate at guessing their partner's emotion using the facial expression system than the no-expression system. Moreover, the participants was use to identify with their avatars, and therefore, reported that they enjoyed their conversation. The frequency of facial expression was correlated with the positive evaluation of lively chat. In both condition, shyness and computer skills did not affect the frequency of conversation and positive evaluation. キイワード：コミュニケーション，感情，仮想空間，外国語教育, インターネット 本研究の目的は，ネットワーク上の３次元マル チ ユ ー ザ 仮 想 環 境 (MUD:MultiUser Dungeon ， Multi-User Dimension)を利用した教育システム が，学習者のコミュニケーション過程に及ぼす効 果，さらにモチベーションに及ぼす効果を検討す ることである． MUD とは，インターネット上の仮想空間に，自 分の分身であるアバター(abatar)が参加して，チ ャットを行うシステムである．MUD は，1970 年代 にアメリカで流行したロールプレイゲーム (RPG)Dungeons and Dragons”が起源である．そ れが，テキストチャットを用いたネットワークゲ ームによる MUD に進化した．その仮想空間の教育 利用としては，小学生のロールプレイ実践である MOOSE crossing があり，自宅，課外授業，学校な どで用いられている．また，大学の授業では，ペ ンシルバニア大学の PennMOO，バーチャル大学の Athena University で実践が行われている．とく に外国語教育においては，キーボードによる自由 「会話」を行う場所(滝澤,1995)として，英語学 習者のための SchMOOze University が有名であり， 日本でも中部大学などで利用されている(淡路， 2000,2002)．これらの MUD が，テキストチャット を用いているのに対して，本研究が用いる 3D-IES(３Dimensinal Education System, 野村総 合研究所)は，３次元グラフィックスを用いて， 仮想空間と参加者の分身であるアバターを可視 化してより臨場感を高めた MUD システムである (濱辺，2000)．このシステムを用いて，鈴木 (2000,2001)は英語，岡野(2001)はドイツ語の授 業を九州大学でおこなっている． 一方，日本における MUD として，1990 年代から ゲーム感覚のコミュニケーションスペースとし て活用されている Habitat は，２次元グラフィッ クスからはじまり３次元グラフィックスを用い た Habitat２ そして J チャットに展開している （富士通パレックス,2002） ．また，坂元・磯貝・ 木村・塚本・春日・坂元(2000)は Habitat の匿名 性を利用したシャイネス（内気）克服訓練の実験 的研究をおこなっている． 本研究は，３次元 MUD を用いた外国語コミュニ ケーションの学習に焦点を当てる．そこには，３ つの利点が考えられる．第１に，学習者は，自分 の分身であるアバターを自分で設定することが できる．したがって，学習者は匿名性が保たれる ため，失敗を怖れずに積極的に会話することがで きる．したがって，現実では積極的な発言ができ ない内気な学習者にとって効果は大きいと考え られる(たとえば，足立,1998)．第２に，リアル な場面と登場人物の役割を柔軟に設定でき，さら に，言語だけでなくアバターの表情や動作を用い た非言語的コミュニケーションによって，現実感 の高いコミュニケーションができる点である．そ して，仮想世界での経験が現実場面への転移を促 進すると考えられる．これは外国語学習のパタン 練習からコミュニカティブなアプローチへの転 換に合致するものである．第３は，教室という場 を越えて，遠隔地の学習者や他国の人とも協同学 習が可能であり，さらに，コンピュータを介した コ ミ ュ ニ ケ ー シ ョ ン (CMC:Computer mediated Communication)能力の育成に役立つ点である． こうした３次元 MUD を用いたコミュニケーショ ンや教育実践が始まりつつあるが，その効果研究 はまだ十分とはいえない．また，３次元グラフィ ックの表情や動作などの要素がどのようにコミ ュニケーションや教育効果に影響を及ぼすのか， また，システムのインタフェースをいかに改良す れば，利用しやすくなるかについての考察はまだ 十分とはいえない． 本研究の目的は,アバターが感情を表出する機 能をもつことがチャット・コミュニケーションに 及ぼす効果を検討することである．とくに，(1) コミュニケーションにおける感情の表出と理解 の精度，(2)スマイリー（顔文字）とアイコン選 択による２つの表情入力システムと，表情のない システムのユーザビリティの評価，(3)ユーザの 個人特性であるシャイネス（内気さ）とコンピュ ータスキルが，このシステムを利用したコミュニ ケーション過程に及ぼす影響を明らかにする． そこで，本研究では，前述の 3D-IES に，アバ ターの感情表出機能を付加したコミュニケーシ ョン・システム 3D-ICS(3D Interactive Communica -tion System, 野村総合研究所)を用いる． そし て，2 つの実験を行う．実験 1 では，スマイリー （顔文字）によるアバターの感情表出ができる 3D-ICS を用いて英会話をおこないコミュニケー ション過程への影響とユーザビリティ評価を行 う．実験 2 では，アイコンによりアバターの感情 表出ができる 3D-ICS システムを使用して，より 日常的な会話場面で日本語会話をおこない，コミ ュニケーション過程への影響とユーザビリティ 評価に加えて，会話相手の感情についての理解精 度を検討する． 図 1 3D-ICS システムの仮想環境（中央ウインド ウはスマイリー選択,右側ウインドウはチャット を表示） （野村総合研究所） 図 2 3D-ICS システムのアイコンによる表情ボタ ン（上部ウインドウはチャットを表示） （野村総 合研究所） 実験 1 実験１では，アバターに感情表出機能をもたせ るために，チャットテキストの最後に，スマイリ ーをメニューバーから選択して，入力できるシス テムを用いた．これはテキストチャットにおいて， 文末にスマイリーを入力して，テキストだけで表 わせない感情を表現することが普及しているた めである． 方法 参加者 大学生，大学院生 30 名．同性で未知 の者同士をペアとした．相手は衝立で見えなくし た．これは，参加者の匿名性を保ち，仮想世界で の会話が，実験終了後，現実世界に影響を与えな いようにするためである． 実験システム 実験システムは，テキストの入力 後，リターンを入力すると，図１のように，スマ イリーウィンドウが現れ，11 種類のスマイリーの カテゴリから１つを選択し，３段階（大中小）の 強度から選択できるシステムである． スマイリ ーはインターネット上で，使用頻度の高いものを 表２ スマイリー入力システムによる 表情あり条件となし条件の比較 表情あり条件 表情なし条 件 12.2(7.46) 発 話 数 12.1(6.39) (回) 74.9(26.0) 単 語 数 68.3(21.4） (word) 相手の気持 3.23(1.30) 2.73（1.08） 表１ スマイリーと表情・動作の例 スマイリー 感情カテゴリ 表情・動作 (･_･) ノーマル (74) アクションな し (^.^) 喜び 小(73) 両手を挙げて o(^o^)o 中(25) 笑う ＼(^o^)／ 大(28) (O_O) 驚き 小(8) ジャンプして w(゜o゜)w 中(9) 目を大きく開 ＼(◎o◎) 大(1) ける ／！ o(-_- #) 怒り 小(6) 両手を腰に当 )｀ε´( 中(0) ていらだつ (▼▼) 大(0) (；；) 悲しみ 小(11) 目に両手を当 (；.；) 中(5) て泣く (TOT) 大(1) 註：括弧内の数値は出現頻度を示す 1.94 p=.062 註 数値は平均値(SD)，†5 段階尺度（１：あては まらない−５：あてはまる） 選択するとともに，さらに，社会人 30 名による スマイリーと感情カテゴリのマッチングの予備 実験をおこない，正答率の高いものを選択した． 実験条件 表情あり条件（スマイリー選択によ ってアバターの表情動作が変化する）と表情なし 条件（テキスト入力のみ．表情動作の変化なし） の 2 条件を設定した．両条件は被験者内で行い， 順序は被験者グループ間でカウンタバランスを 行った．スマイリーには，喜ぶ，驚く，怒る，悲 しむ，謝る，困る，焦る，不満，疲れる，照れる， 眠いの計 11 の感情カテゴリとその 3 段階の強度 をチャット文の最後に必ず入力させた（表１に一 部を示す） ． 課題 チャット課題：以下の，気楽に会話でき る 2 つの課題を設定した．一つは今晩夕食に行く 場所を決める会話，もう一つは，旅行の計画を立 てる会話であった． 「できるだけ多様な感情表現 を入れるように」 「すぐに合意しないで，やりと りが活発になるように，反対の立場を最初はとる ように」と教示した．それぞれ会話時間は 15 分 間とし，実験条件との組み合わせはカウンタバラ ンスを行った．会話は英語で行った． アンケート課題：システムの評価に関するア ンケートが 13 項目で，自由記述が 3 項目であっ た．また，シャイネスに関するものが 25 項目， コンピュータスキルに関するものが 3 項目(坂元 ほか,2000)であり，顔文字利用に関するものが 2 項目であった．それぞれ自己評定させた． 結果と考察 条件ごとに，全参加者分の発話ログを検討した． 分析対象発話単語数は 360 語であった．スマイリ ーによる感情カテゴリの出現頻度の一部を表 1 に 示す． 表情あり条件と表情なし条件を比較した結果， 表 2 のようになった．発話の回数は，両条件で有 意な差はみられなかったが，発話単語数は，表情 なし条件の方が表情あり条件より多かった．表情 あり条件は表情なし条件に比べて発話回数には 違いがなかったことから，スマイリーを選択する ために単語数は減少したと考えられる．相手の気 持ちは，表情あり条件の方が表情なし条件よりも わかりやすいという評価が得られた．また，表情 あり条件の方が表情なし条件よりも現実世界の 英会話でもうまくできそうだと考えているとい う結果になった． また，表情あり条件では，コンピュータスキル が高い者は，チャット単語数が多かった．単語数 が多かった者は，会話が弾み，楽しかったと評価 するとともに，このシステムでは英会話が身に付 き，現実にもうまくできそうと評価した．また， 両条件とも，「仮想人物では積極的になれる」， 「周りの人が誰か，自分が誰であるのか相手にわ からないので，恥ずかしくない」 ， 「英会話が楽し い」という評価が得られた． ちがわかり やすい† 現実世界の 英会話もう まくできそ う† 入力が 面 倒† 2.70(.95) 2.40(.963) 3.57(1.52) 3.13(1.38) ｔ 値 (df=29) 0.12 n.s 2.11 p=.044 2.19 p=.037 2.34 p=.02 トの開始前と終了後は，7 種類のカテゴリそれぞ れの感情強度を「4:強い」から「0:なし」の 5 段 階で評価させた． アンケート課題：実験１と同様に，システムの 評価(12 項目)，自由記述(3 項目)，個人差特性（シ ャイネス，コンピュータスキルなど）に関する評 定を求めた． 結果と考察 感情関連語の出現頻度の算出とカテゴリ化 全参加者のシナリオなし条件の発話ログを分析 実験 2 した．分析対象の発話語数は，表情動作あり条件 実験 2 では，会話の際の感情を選択しやすくす が 341 語，表情動作なし条件が 419 語であった． るために，スマイリーではなく，感情のアイコン そ の 際 テ キ ス ト マ イ ニ ン グ ツ ー ル True を設定する．さらに，参加者が自由に会話を行う Teller(野村総合研究所)を利用して感情に関連 のではなく，物語の設定，シナリオを与え，その しない語を除外した後，11 の感情カテゴリのボタ 制約のなかの会話を検討することによって，シス ンに基づく自動分類を行った．その結果，表３に テムのユーザビリティを評価させる．つまり，参 示すように，感情ボタンとの共起単語のカテゴリ 加者には与えられた物語の登場人物になりきっ が明らかになった． て会話をさせる． 表情動作あり条件と表情動作なし条件の比較 方法 表４のように．シナリオ条件において，相手の感 参加者 大学生，大学院生 32 名(男性 16 名， 情強度を推測した値と，相手が実際に評定した感 女性 16 名)が参加した．同性で未知の者同士をペ 情の値とのズレの平均値を比較した結果，表情あ アにした．実験 1 と同様に，お互いに誰とペアか り条件の方が表情なし条件よりもズレが小さい はわからないようにした． 傾向がみられた．この結果は，表情動作あり条件 実験計画 感情アイコン選択による表情あり の方が，表情動作なし条件よりも感情強度を正確 条件と表情なし条件が被験者内要因であり，順序 はカウンタバランスを行った．表情あり条件には， に推測できるということをあらわしており， 3D-ICS システムを使うことによって，相手の感情 実験 1 と同じ 11 の感情カテゴリと 3 段階の強度 をチャット文の最後に必ず入力させた（図 2） ． 課題 チャット課題：両親へのプレゼントを決 表３ 感情ボタン（出現頻度）と主な共起単語 感情ボタン 主な共起単語 めるきょうだいの会話，三角関係をめぐる同性友 喜ぶ(77) 楽しい，いい，安い，喜ぶ，希望 人同士の会話の，2 種類のシナリオを用意した． する，優しい 両シナリオとも，入力する台詞のあとに感情カテ 驚く(24) いい，断然，謝る ゴリと強度(例：喜ぶ・中)が書かれており，上記 怒る(17) 怪しい，言える の 11 種の感情カテゴリすべてが 1 回ずつ使われ 悲しむ(16) 気分，思う，知る た．前半はシナリオにそって会話を入力するシナ 謝る(22) 実は，ごめんだ，気持ち，思う， リオあり条件で，後半は自由に会話を展開するシ 聞く，話す ナリオなし条件で，それぞれ 15 分間の対話をし 困る(61) ごめん，思う，あきらめる，わか た．実験条件との組み合わせはカウンタバランス る，悪い を行った．会話は日本語で行った．ただし，シナ 焦る(45) 考える，ごめん，苦しい，決める， リオなし条件でも，状況の設定文は与えた． 思う 感情推測課題：相手が演じた登場人物の感情の 不満(23) 想像する，話す 照れる(25) 実は，異性，思う，大好きだ，恥 推測と，自分が演じた登場人物に関する感情の評 ずかしい 定を行った．感情は，喜び，驚き，怒り，悲しみ， 眠い(3) 該当なし 焦り，不満，照れの 7 種類のカテゴリから一つ選 註：括弧内の数値は出現頻度を示す 択し，チャット中に 2 回評価を行わせた．チャッ 実験 1 では，3D-ICS システムを利用することに よって，外国語の会話学習に有効である可能性が 示されたが，感情語の出現頻度が低かったことか ら，会話の際に生じる感情についての検討は困難 であった．そこで，実験 2 では，多様な感情を生 じさせるシナリオ，場面設定を与えて検討する． また，参加者の発話数を増加させてより大きな会 話コーパスを得るために，日本語で会話を行なう． 表４ 感情アイコンボタン入力システム による表情あり条件となし条件の比較 指標 表情条件 表情なし t 値 条件 (df=30) 平均発話数 13.6(3.5) 15.8(7.7) 1.03 (回) p=.31 (シナリオ なし条件) 相手の感情 強度推測ズ レ平均値† （シナリオ 条件） 会話に集中 で き た ‡ (シナリオ なし条件） 入力が面倒 くさい ‡(シ ナ リ オ 条 件) 入力が面倒 くさい‡ (シナリオ なし条件) 図 3 積極的会話に表情と匿名性が及ぼす効果 (数値は共分散構造分析のパス係数を示す) 0.80(.32) 1.09（.42） 2.30 p=.051 使いにくい」といったものである．また，感情の 種類と内容の問題として， 「微妙な表情や表情の 裏にある感情の表現は難しいので実世界とは等 3.94(.85) 4.50(.63) 2.12 価ではない」 「表情をリアルで多様に」といった p=.043 意見があった． 表情あり条件と表情なし条件の比較 両条件 3.31(1.40) 2.00(.97) 3.08 を発話回数で比較すると，表情システムは，従来 p=.004 システムに比べて発話回数は若干減少したが，感 情選択を強制しなければ，その差は小さかった． 2.94(1.44) 2.25(1.44) 1.35 感情の読み取りに関する精度の観点から比較す p=.688 ると，表情あり条件は表情なし条件に比べて，相 手の気持ちがわかりやすく，自分の気持ちが伝え やすいという評価が得られた． 註：数値は平均値(SD)†範囲（０−４） ，‡5 段階尺度 両条件ともに，相関分析，共分散構造分析から， （１：あてはまらない−５：あてはまる） 仮想人物が自分の分身に感じられ，仮想人物では 積極的になることができ，会話が楽しいという評 を推測する精度が上昇したことを示す． 価が得られた．図３に示すように，表情アバター 一方で，シナリオなし条件において，会話に集 のシステムでは，従来の表情のないシステムのも 中できた程度は，表情動作なし条件の方が表情動 つ「仮想世界」 ， 「匿名性」に加えて， 「感情表現」 ， 作あり条件よりも平均値が高くなっている．また， 「感情理解」が「積極的会話」に影響を及ぼして シナリオ条件において，入力の面倒くささは，表 いた．スマイリーの利用頻度と「会話が弾んだ」 情あり条件の方が表情なし条件よりも平均値が (.41)，このシステムで練習すれば現実世界でも 高くなっている．これらは，自由な会話を展開す うまくいきそう」(.40)の間にそれぞれ有意な相 るうえでメッセージの後に，感情ボタンを入力す 関があった．両システムとも，シャイネスやコン ることが，参加者にとって面倒であり，その結果， ピュータスキルの程度は，発話数，評価には影響 会話に集中しづらくなったことが原因であると しなかった． 考えられる． 自由記述の結果 3D-ICS システムの肯定的評 結論と今後の課題 価として， 「言葉で伝えにくいことを表現，理解 本研究では,3 次元仮想環境を用いたコミュニ しやすい」という意見があった．たとえば， 「ア ケーション・システムにおいてアバターに感情表 バターの表情をもとに相手の感情，気分が 出機能を実装した．実験 1 では,スマイリー選択 理解，予測できる」というものである．また， 「表 システム，実験 2 では感情アイコン選択システム 情を指定できるので会話しやすい」など，感情を を導入した．その結果,表情のないシステムに比 込めた表現ができるという意見もあった． べて,感情の推定,ユーザの評価とも優れること 一方で，否定的な意見，問題点としては，感情 を見出した． 入力の操作の問題があった． 「感情選択が面倒， 今後の課題として以下の点がある． 第一に，システムに慣れるために長期的に利用 する必要性がある．今回の実験は，システムの短 期間の利用による評価を行ったが,長期的利用に より，ユーザビリティ評価は向上することが考え られる． 第二に,チャットログに基づくコーパスデータ を分析し，発話における感情語に基づいて,表出 する感情を予測し,自動的に変化させることであ る． 第三に，システムの改善点として，操作性の向 上が課題である．たとえば，強度入力を簡略化す ることや，キイワード，参加者の気分，ログの履 歴によって候補となる感情を選択しやすくなる などの改善が必要である． とくに，第二と第三の問題解決のためには，感 情選択ボタンによってタグ付けされたコーパス データを用いて，話者の発話から感情カテゴリを 推定し，感情の生起要因，強度，それらを支える 感情ルールを解明することが必要である． そこで，本研究の目的は，第１に，ネットワー ク上の３D マルチユーザ仮想環境を利用した 外 国語教育が，コンピュータを利用した外国語コミ ュニケーション能力，さらに，広く外国語能力や モチベーションに及ぼす教育効果を分析するこ と，第２に，学習者に対して，授業の内容や満足 度評価，システムのユーザビリティに関する評価 を求め，教授法とシステムの改善に役立てること， 第３に，教育効果の個人差を学習者の性格特性で ある内気さとコンピュータスキルに基づいて分 析し，学習者に適応的なシステムの可能性につい て検討することである． 謝辞 本研究の進めるにあたりお世話になり ました野村総合研究所の濱辺徹,横澤誠,松田充 弘,宇和田弘美，大嶋憲の各氏，京都大学教育学 研究科子安増生教授，吉川左紀子教授,学術情報 メディアセンター美濃導彦教授，角所考助教 授,DC伊藤淳子，MC李立群さんに記して感謝しま す． 文 献 足立にれか 1999 ネットワークゲーム(MUD)の 教育利用 NEW 教育とコンピュータ,７月 号,94-95. 淡 路 佳 昌 2000 テ キ ス ト ベ ー ス 仮 想 現 実 saMOOrai とその英語教育への応用, 教育工学 関連学協会連合第６回全国大会講演論文集第 二分冊 淡路佳昌 2002 schMOOze University へいこう http://members.tripod.co.jp/schmooze/JPN/ index.html 富士通パレック 2002 J チャット http://www.j-chat.net/b2b/index.html 濱辺徹 2000 3 次元空間双方向教育システム 知的資産創造(野村総合研究所)，７月号， 12-13. 楠見 孝 2001 3 次元仮想環境を利用した外国語 教育の心理学的効果測定 文部科学省科学研究 費補助金特定領域研究(A)「高等教育改革に資 するマルチメディアの高度利用に関する研究」 研究成果報告書(平成 12 年度計画研究)， 19-22. Renninger, K.A., & Shumar, W. (Eds.) 2002 Building virtual communities: Learning and change in cyberspace. Cambridge University Press. 坂元章・磯貝奈津子・木村文香・塚本久仁佳・春 日喬・坂元昂 2000 社会性訓練ツールとしての インターネット：女子大学生のシャイネス傾向 者に対する実験．日本教育工学会論文 誌,24(3),153-160. 鈴木右文 2000 3 次元仮想空間チャットシステ ムによる英語授業の試行. 言語文化論研究(九 州大学言語文化研究院) No.12,105-125． 滝沢直宏 1995 MOO で学べる外国語 月刊『言語』 10 月号,111-113.
© Copyright 2024 Paperzz
