人工知能特論 2013 11. 複数のモダリティの連携 西田豊明 11. 複数のコミュニケーションメディアの連携 会話行動においては，音声，視線・顔表情，手ぶり，身振り，接触，服装など，さまざまな媒体を 連携させて，効果的なコミュニケーション行動が試みられる．ここでは， [Knapp 2010] や [Richmond 2004]などの包括的な解説を背景に， [Kendon 2004]に従って，非言語的なコミュニ ケーションメディアの一つであるジェスチャがいかに発話行動の中に組み込まれ，コミュニケーショ ンに寄与しているかを概観する． Kendon は発話またはその一部分として機能する他者から視覚可能な身体の動きをジェスチャと 規定した．会話で参照される対象という観点から見ると，参照対象が会話参加者の周りに存在する 場合と，会話者が会話の場のどこか ― 例えば，テーブルの上や，参加者に囲まれた場 ― を借 りて仮想的に作り出す場合，およびわざわざ共通イメージを描き出さない場合に大別される．第一 の場合は，参照対象の位置を指し示すためにポインティングジェスチャが使われることが多い（図 1a）．第二の場合は，イメージに情報を追加するために，映像的ジェスチャが使われる（図 1b）．第 三の場合は，前者ほど頻度は高くないが象徴的なジェスチャやビートなどの強調を意味する抽象 的な身振りが使われる（図 1c）． (a) ポインティング (b) 映像的ジェスチャ 図１：ジェスチャを用いた発話の例 (c) precision grip [Kendon 2004]の貢献は，こうしたジェスチャについて，どのような意味作用があるか，そして，言 語的なメディアを用いた発話とどう連携するかについて詳細に分析したことであるが，その分析の ために用いたアノテーション手法も大変興味深く参考になる．以下では，まずアノテーション手法と その適用例を概観した後で，個別のジェスチャの分析に進むことにする． 11.1 Kendon のジェスチャ分析の手法 [Kendon 2004]では，イタリアカンパニア州，英国ノーサンプトンシャー，アメリカ東部で撮影され たビデオに収録され，書き起こされたジェスチャの分析に基づいて議論が行われている．分析のた めにジェスチャユニットとジェスチャフレーズという概念が用いられている．ジェスチャユニットは休 止状態からはじまり一連の動作を経て休止状態に戻るまでの身体の動きのパターンを指す．ジェス チャフレーズはジェスチャユニットの構成要素であり，準備(preparation)，ストローク(stroke)，保留 (hold)，回復(recovery)から構成される．ジェスチャユニットは一つまたはそれ以上のジェスチャフ レーズから構成される． Kendon の編み出した記述方法は発話とジェスチャの動きを時間軸をそろえて併記するものであ り，音声発話とジェスチャの時間的な関係が分析されている．その結果，音声発話とジェスチャが 連動する様子の詳細がわかる，発話の繰り返しに応じてジェスチャも繰り返されるさま，次のジェス チャの準備が完了するまで音声発話が保留されているさま，複雑なため完了まで時間を要してい る現在のジェスチャの終了まで次の音声発話が待たれているさま，ジェスチャの方に意味表現の 主要な部分が現れているので，ジェスチャによるプレゼンを際立たせるために音声発話が抑制され ているさまなどが，生き生きと伝えられている． 1/2 人工知能特論 2013 11. 複数のモダリティの連携 西田豊明 11.2 ポインティング ポンティングは概念的には単純であるが，実際のポインティングの現象はそれほど単純ではない． 参照対象の位置を正確に示したいときは，指を使い，そうでなければ，掌を使って聞き手にわかる ようにポインティングをすればよい．ポインティングは，他のメッセージと混在し，いろいろなタイプの ポインティングがある．例えば，丁寧さを加えたいときは掌を上向きにして，献上のメッセージを加え る．[Kendon 2004]によれば，英国ノーサンプトンシャー地方とイタリアカンパニア州には，人差し指 を開き，掌面を地面に垂直にする標準的なポインティングのほか，人差し指は開くが手のひらを下 にするもの，親指を使うもの，手を開いて自然に伸ばしたもの（掌面は地面に垂直），手を開いて仰 向けにしたもの（掌面は上向き），手を開いて斜めにしたもの（掌面も斜め），手を開いてうつぶせに したもの（掌面は向こう向き）の 7 種類があるとしている． 11.3 映像的ジェスチャ 映像的ジェスチャは，参照対象の長さ，形状，構造などのイメージに関わる属性を抽象化した表 現である．しばしば，話者は自分の前に参照対象及びその周囲にある状況のイメージを思い浮か べながらジェスチャを行う．参照対象の詳細はそぎ落とされている一方，顕著な特徴が強調され る． 11.4 ジェスチャの意味的側面 Kendon はジェスチャが発話において果たす役割を，次の 6 つのタイプに分類している． (1) 語を強調するために，その語とほぼ同じ意味をもち，その意味が誰にでもはっきりとわかる narrow glass と呼ばれるジェスチャを併用する． (2) 音声発話に意味を追加するために，音声発話で強調したい語と異なる意味をもつ narrow glass を併用する． (3) ジェスチャを動詞と併用して，その動詞により具体的な意味を追加する． (4) 例示としてジェスチャを使用する． (5) 形状，大きさ，空間的な特徴，対象の位置的関係を示したり，視覚的あるいはプロセスの動 きに関わるイメージをつくりだしたりするための動作パターンとしてジェスチャを使用する． (6) 会話者の周囲の状況内の対象を参照するための直示的な表現としてジェスチャを使用す る． 11.5 ジェスチャのファミリー しばしば形状が類似したジェスチャは意味的にも類似している． すぼめた手と指を束にしているところに特徴がある grappolo は，疑問があること，あるいは，説明 を求めていることを示す．指を環状に丸めるた R-display 族のテーマは「正確」を表す． 掌を開いてうつ伏せにする（Open hand prone）は，停止や割り込みを示唆する．掌を開いて仰向 けにする(Open hand supine)は「提示」がテーマになっている． 参考文献 [Kendon 2004] Kendon, A.: Gesture, Cambridge University Press, 2004. [Knapp 2010] Mark L. Knapp and Judith A. Hall (2014). Nonverbal communication in human interaction. 8th Edition, Boston: Wadsworth/Cengage, 2010. [Richmond 2004] Virginia P. Richmond, James C. McCroskey, and Mark L. Hickson III. Nonverbal Behavior in Interpersonal Relations, 7th edition. Boston, MA: Allyn & Bacon, 2004. 2/2
© Copyright 2024 Paperzz
