抽象度を変化させた顔の脳反応 - Masahide YUASA 湯浅将英の web site

MBE-05-28
抽象度を変化させた顔の脳反応
−電子コミュニケーションにおける顔の効果−
湯浅将英 ∗†
斎藤
恵一††
武川
直樹†
† 東京電機大学情報環境工学科
†† 東京電機大学先端工学研究所
Brain Activity Associated with Abstract Faces
- Effects of Facial Expressions in Personal Communications over Computer Network Masahide YUASA† , Keiichi SAITO†† , and Naoki MUKAWA†
† Tokyo Denki University, Department of Information Environment Engineering
†† Tokyo Denki University, Research Center for Advanced Technologies
Abstract
In this paper, we describe that brain activities associated with face mark as abstract face by using fMRI. In previous research,
some researchers proposed methods to produce facial expressions of personified agents. The methods are based on various effects
of facial expressions. However, we could not know what elements influenced on the mental state of receiver, and how the elements
made the effects. In this research, we conducted an experiment using fMRI in order to investigate the effects. The results show
that right Inferior Frontal Gyrus, which associated with nonverbal communication , is activated by face mark, and face mark has
an important role which enriches communication between users.
キーワード: fMRI, 顔, 表情, 脳活動, 顔文字, 非言語コミュニケーション, 擬人化エージェント
(fMRI, Face, Facial Expression, Brain Activity, Face Mark, Nonverbal Communication, Life-like Character, Personified Agent)
エージェントをオンライン交渉に応用し，交渉時のエー
1. はじめに
ジェントの表情の変化により，意思決定が変わることを述
近年のネットワーク技術の発達により，メールやチャット
などを用いることで遠方にいる人同士であっても，気軽に
コミュニケーションをすることができるようになった．さ
らにアバタや擬人化エージェントの登場により，メールや
チャットでは用いることができなかった表情やしぐさの変
化をお互いに伝え，表現の限られた電子コミュニケーショ
ンを豊かにすることが可能となってきた．
また，アバタや擬人化エージェントの顔や表情の効果的
を用いることで，人のコミュニケーションをコントロール
する顔や表情の研究が試みられている．Koda らは，線画
によるスマイルマーク，動物，漫画，人間の顔写真といっ
た多種類の画像を基に，CG による擬人化エージェントを
作成し，種類によって知性や信頼性の評価に違いがあるこ
とを述べている
(1)
．Yuasa らは，CG で作られた擬人化
べている (2–5) ．これらでは，顔や表情などの非言語情報が
音声やメッセージなどの言語情報に影響を与えることを利
用している．
しかし，アバタや擬人化エージェントの顔や表情などの
非言語情報がどのように言語情報に影響を及ぼしているか
は解明されていない．
たとえば，竹原らはメールやチャットのテキストメッセー
ジに顔文字が付加されると感情が促進されることを述べて
いるが (6) ，この促進効果の具体的な仕組みまでは未だ解明
されていない．また，Yuasa らは擬人化エージェントを利
用しているときのユーザの発汗量や脈拍を測定し，擬人化
エージェントの表情の変化が興奮や焦りといったユーザの
内部の状態まで影響を及ぼしていることを調べたが (7–9) ，
どのような過程を経て内部の状態が変化しているかを調べ
1/5
2. 顔と表情の脳活動についての従来研究
従来までの fMRI や PET 等を用いた研究や神経心理学の
研究により，人間が顔を見たときに顔であると認識する際
には下後頭回，右の紡錘状回が関連していること，さらに，
その顔が嬉しい表情なのか悲しい表情なのかといった表情
の弁別には右の下前頭回が関与していることが報告されて
いる．
Kanwisher らは fMRI を用い，被験者に顔を呈示するこ
とで右の紡錘状回が活性化されることを述べている (11, 12) ．
一方で，人物の顔を認知できなくなる相貌失認の患者は，
図 1 顔写真と抽象度の異なる顔の例 ( Hasegawa らのエージェ
ント
(10)
も使用)
Fig. 1 Examples of Abstract Faces
るところまでには至っていない．このように，従来までの
研究では顔や表情の非言語情報が及ぼす影響についての解
析が十分にされてこなかった．
そこで本研究では，fMRI を用いて顔を見たときの脳活
動を観察し，顔や表情の効果を詳しく解析する．特に顔の
抽象度に着目し，さまざまな抽象度の顔を見たときの脳活
動の測定を試みる．顔の抽象度とは，人間の本来の顔から
スケッチ顔や線による似顔絵などにわたる顔特徴の欠落の
度合である．図 1 の例では，顔写真に比べて，スケッチ風
画像や CG 合成画像は抽象的であり，さらに線画の顔や顔
文字はそれらよりも抽象度が高い．異なる抽象度の顔を分
析することにより，顔のどのような要素が特定の印象を与
え，情動を引き起こす効果をもたらすかが分かる可能性が
ある．たとえば，抽象度の高い顔文字の怒った表情であれ
ば，
「相手は怒っている」という認知的反応にとどまり，情
動的反応は弱いものであるかもしれない．逆に，抽象度が
低い怒っている表情の顔写真に対しては「怖い」という情
動的反応が強くなる可能性がある．
我々の研究の目標は，抽象度の高い顔文字の分析から始
め，さらに人間に近い CG の表情の分析までを段階的に進
める．そして，喜びや悲しみなどの表情の種類による効果
の変化を分析することである．さらにこれらを分析してい
くことで，人間の持つ顔の効果のモデルを考察し，人のコ
ミュニケーションをコントロールするための顔文字や CG
の表出戦略の作成を目指していく．
本稿では，研究の手始めとして，抽象度が高い顔文字を
用いた fMRI 実験について述べる．以降では，2 章で従来
までの顔，表情の認知の脳研究について述べる．3 章で顔
右半球の紡錘状回，舌状回などに病変があることが指摘
されている (13) ．また，Haxby らによる顔の認知モデルや
Adolphs らによる研究では，顔認知に関わる脳領域として
下後頭回が関連することが述べられている (14, 15) ．これら
の研究では，下後頭回で顔の輪郭や形状の情報が統合され，
その情報が紡錘状回に送られると考えられている．よって，
顔の認知には下後頭回，右の紡錘状回と関連が深いことが
示唆される．
表情の弁別については，神経心理学的には，大脳右半球
の前頭葉側面から下前頭回の損傷により，顔の表情の理解
に障害が起こることが知られている (13) ．川島らによるポ
ジトロン CT を用いた表情弁別実験では，大脳右半球の中
前頭回，下前頭回，両側半球の外側後頭葉，右半球の側頭
葉下面（紡錘状回）が活性化したと報告している (13) ．さ
らに，川島らは表情の情動弁別と声による情動弁別（声の
抑揚などから感情を判別する）の課題を被験者に実施し，
共通して活性化する脳領域を解析した．結果として，右の
下前頭回の領域のみが有意な変化を示し，川島らは，右の
下前頭回が非言語的なコミュニケーションに特化した機能
を持つ可能性を述べている．また，中村も PET を用いた
表情評価実験により，右の下前頭葉が表情の評価に関与し，
非言語コミュニケーションに関する情報を処理をする部分
である可能性を述べている (16) ．
本研究では，これらの顔と表情に関連する脳活動を調べ
た研究と比較することで抽象度を変えた顔や表情の詳しい
解析を試みる．
以降では，今回実施した顔文字についての実験を述べる．
この実験では，顔文字が人間の顔として処理され，下後頭
回や右の紡錘状回の賦活が有意なものになるか，また顔文
字が非言語コミュニケーションの情報として処理され，右
の下前頭回の賦活が有意になるかを検討する．
画像と顔文字を用いた実験について述べ考察する．4 章で
まとめを述べる．
2/5
3. 顔文字を見たときの脳活動
3. 1 実験の方法
刺激の呈示にはブロックデザインに基づき，50 秒ずつで
刺激の種類（レストとタスク）を入れ替えた．1 つの実験
での入れ替えは 3 回とした．図 2 にそれを示す．fMRI 室
内では，横になった被験者にプリズム眼鏡を装着してもら
い，足元方向にあるスクリーンに映し出される刺激を見て
もらった．刺激は複数作成し，タスク，レストのそれぞれ
の時間内において，ランダムな順番で 5 秒ずつ 10 回表示
図 3 実験 1 におけるタスク (顔画像，上) とレスト（スクランブ
ル画像，下）
Fig. 3 Task and Rest for Experiment 1
した．
本実験では，顔文字の脳活動を検討するため，二種類の
比較実験を実施した．以降でそれらを述べる．
3. 1. 1 実験１顔画像とスクランブル画像の比較
人間の顔写真を見たときの脳活動を調べるため，被験者
に顔画像（タスク）とスクランブル画像（レスト）を見せ，
このときの脳の賦活を比較する．
スクランブル画像とは，顔画像を基にして．ランダムに
顔画像を変形させたもので，顔画像と色のヒストグラムは
同じであるが顔の形に見えない画像である．
本実験では，顔画像には東京大学の原島研究室 (17) によ
る東大男子学生の平均顔，および女性研究者の平均顔を用
いた．さらに Galatea Toolkit(18) を用いて喜びの表情と
悲しみの表情を作成し用いた．図 3 上にそれらを示す．さ
らに，この顔画像を基に図 3 下のスクランブル画像を作成
した．
3. 1. 2 実験２顔文字と記号の比較
顔文字を見たときの脳活動を調べるため，被験者に顔文
字（タスク）と記号（レスト）を見せ，このときの脳の賦
活を比較する．
顔文字は竹原らの論文 (6, 19) にあるものから，喜びまた
は悲しみを表す顔文字をそれぞれ 10 個用いた．図 4 上に
それらを示す．図中にある顔文字は，タスク時間のときに
ひとつずつをランダムな順番でスクリーン中央に映した．
一方，記号をランダムに並べ替えた文字列を作成した．
なお，事前の調査により，作成した文字列が顔文字に近い
図 4 実験 2 におけるタスク (顔文字，上) とレスト（ランダムな
記号, 下）
Fig. 4
Task and Rest for Experiment 2
場合，被験者によっては，簡単に顔文字として捉えてしま
うことがわかった．よって，作成した文字列は，日頃顔文
字を用いている学生らに，顔文字に近いもの（顔文字に見
えてしまうもの）を選択，削除してもらい，それらは実験
には用いないことにした．図 4 下に用いた記号の例を示す．
図中の記号の文字列は，レスト時間のときにひとつずつを
ランダムな順番でスクリーン中央に映した．
3. 2 実験結果
被験者は理系学生で男性 5 名，女性 2 名（1 名の男性のみ
が左利き，他は右利き）であった．図 5，図 6 に実験 1，2
で有意であった賦活部分を示す．また，表 1，表 2 に実験
1，2 で有意に賦活した部分の座標, 大きさ, 部位を示す．
表 1 では，番号 4 の部分は右の紡錘状回付近であり，ま
た番号 7 は右の下前頭回付近が賦活している．これらは２
章で述べた顔の認知，表情の弁別の両方に関連する部位が
図 2 本研究におけるブロックデザイン
Fig. 2 Block Design in This Research
賦活していることが示されている．
表 2 では，番号 5,9 の右の下前頭回が賦活している．こ
3/5
表 1 実験 1(顔画像とスクランブル画像) の主な賦活部分の座標,
大きさ, 部位
Table 1 Activated Areas in Experiment 1
番号
X
62 -42
46
1154
右頭頂葉下頭頂小葉
2
48
10
48
1316
右前頭葉
3 -64 -36
26
905
左頭頂葉下頭頂小葉
48 -54 -30
中前頭回
328
右側頭葉
紡錘状回
14
0
123
左側頭葉
上側頭回
6
62 -48
-4
284
右側頭葉
中側頭回
7
54
20
-2
197
右前頭葉
下前頭回
8 -58
12
24
94
左前頭葉
下前頭回
4
60
158
5 -54
9
Fig. 5 Result of Experiment 1
Z 大きさ左右
1
4
図 5 実験 1(顔画像とスクランブル画像) の結果 (黒が賦活部分)
Y
4
右前頭葉内側前頭回
表 2 実験 2(顔文字と記号) の主な賦活部分の座標, 大きさ, 部位
Table 2 Activated Areas in Experiment 2
番号
X
Y
1
46
18
48
Z 大きさ左右
762
右前頭葉
中前頭回
2 -44
28
40
341
左前頭葉
中前頭回
3 -58
16
-2
280
左前頭葉
下前頭回
4
0
30
40
194
左前頭葉内側前頭回
5
52
26 -10
6 -52 -42
46
7 -38
95
112
44
14
85
8
50 -54
48
140
9
54
12
11
24
右前頭葉
下前頭回
左頭頂葉下頭頂小葉
左前頭葉
中前頭回
右頭頂葉下頭頂小葉
右前頭葉
下前頭回
活動に基づいて成り立っている相互のコミュニケーション
図 6 実験 2(顔文字と記号) の結果 (黒が賦活部分)
Fig. 6 Result of Experiment 2
であると考えることもできる．
また，テキストに顔文字を加えて相手に伝えることは，
音声に強弱や韻律情報を加えてより感情を伝えることに似
れらは表情の弁別に関連する部位である．
ており，非言語情報に関連する部位が賦活している結果か
らも，脳内では顔文字が表情や声などの非言語情報と共通
3. 3 考
察
顔画像と顔文字の実験結果を比較すると，顔画像の場合は，
する処理がされている可能性も考えられる．
4. まとめ
顔の認知に深く関連する右の紡錘状回の有意な賦活が見ら
れるが，顔文字の場合は有意な賦活が見られなかった．一
本稿では，抽象度が高い顔文字を用いた fMRI 実験を実施
方，表情の弁別に深く関連する部分である右の下前頭回は
し，人が顔文字を見た際には非言語コミュニケーションに
顔文字の場合であっても有意な賦活が見られた．
関連する脳の部位が深く関連する可能性が示された．
右の下前頭回は，非言語コミュニケーションに主に関連
今後は被験者を増やし，結果の追試と顔文字が感情を伝
することも示唆されている部分である．このため，人が顔
える仕組みを詳しい分析を目指す．我々は現在，文章に顔
文字を見た場合，人間の顔としては捉えないが，非言語コ
文字を付加した場合の脳反応について調べている．この解
ミュニケーションで重要である相手の感情の判断をしてい
析をしていくことで顔文字の感情伝達の詳しい仕組みが解
ると考えられる．そして，顔文字を利用したコミュニケー
明できる可能性がある．
ションは「顔文字から相手の感情を判断できる」という脳
本稿では顔画像と顔文字のみを測定したが，今後はス
4/5
ケッチ画像や線画，似顔絵などの抽象度を変えた顔につい
て実験をしていく予定である．
謝
(16)
(17)
(18)
辞
(19)
顔文字の研究について有益な意見を頂いた北星学園大学
竹原卓真先生に感謝申し上げます．さらに，平均顔画像
中村克樹: 表情の判断と前頭葉の活動, 神経研究の進歩,
Vol. 43, No. 4, pp. 519–527 (1999).
東京大学原島研究室: http://www.hc.ic.i.u-tokyo.ac.jp/.
GalateaProject: ガラテアプロジェクト http://hil.t.utokyo.ac.jp/˜galatea/index-jp.html.
竹原卓真, 栗林克匡, 武川直樹, 水原郁美, 瀧波恵美子: メッ
セージの感情と矛盾した顔文字の付加効果, 日本顔学会誌,
Vol. 5, No. 1, pp. 75–89 (2005).
を提供して頂いた東京大学原島研究室に感謝いたします．
fMRI の実験に協力いただいた東京電機大学川澄研究室
星裕之君に感謝をいたします．
参考文献
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
(15)
Koda, T. and Maes, P.: Agents with Faces: The Effects
of Personification of Agents (1996).
湯浅将英, 安村禎明, 新田克己: ベイジアンネットを用いた
交渉エージェントの表情表出, 情報処理学会論文誌, Vol. 44,
No. 11, pp. 2710–2717 (2003).
Yuasa, M., Yasumura, Y. and Nitta, K.: A Tool for
Animated Agents in Network-Based Negotiation, Proceedings of RO-MAN 2003 Conference, pp. 259–264
(2003).
湯浅将英, 安村禎明, 新田克己: 交渉における擬人化エー
ジェントの表情戦略, 人工知能学会研究会資料, 第 62 回知
識ベースシステム研究会（SIG-KBS）合同エージェント
ワークショップ&シンポジウム 2003 (2003).
湯浅将英, 安村禎明, 新田克己: 交渉エージェントにおける
表情の役割, 人工知能学会研究会資料 SIG-KBS (2001).
竹原卓真, 佐藤直樹: 喜びの顔文字による感情伝達の促進効
果, 日本顔学会誌, Vol. 4, No. 1, pp. 9–17 (2004).
湯浅将英, 安村禎明, 新田克己: 主観的要素を考慮した交渉
の状態遷移モデル, システム制御情報学会, Vol. 14, No. 9,
pp. 439–446 (2001).
Yuasa, M., Yasumura, Y. and Nitta, K.: Giving Advice
in Negotiation Using Psysiological Information, Proceedings of IEEE-SMC 2000 , pp. 248–253 (2000).
湯浅将英, 安村禎明, 新田克己: 交渉における生理指標の分
析, 人工知能学会研究会資料 SIG-FAI-9903-13, pp. 75–80
(1999).
Hasegawa, O. and Sakaue, K.: CG Tool for Constructing Anthropomorphic Interface Agents, Proceedings of IJCAI-97 WS (W5), ANIMATED INTERFACE AGENTS , pp. 23–26 (1997).
Kanwisher, N., McDermott, J. and Chun, M. M.: The
Fusiform Face Area: A Module in Human Extrastriate
Cortex Specialized for Face Perception, The Journal of
Neuroscience, Vol. 17, No. 11, pp. 4302–4311 (1997).
Tong, F., Nakayama, K., Moscovitch, M., Weinrib, O.
and Kanwisher, N.: RESPONSE PROPERTIES OF
THE HUMAN FUSIFORM FACE AREA, COGNITIVE NEUROPSYCHOLOGY , Vol. 17, No. 1, pp.
257–279 (2000).
川島隆太: 高次機能のブレインイメージング, 医学書院
(2002).
Haxby, J. V., Hoffman, E. A. and Gobbini, M. I.: The
distributed human neural system for face perception,
Trend in Cognitive Sciences, Vol. 4, No. 6, pp. 223–
233 (2000).
Adolphs, R.: Neural systems for recognizing emotion,
Current Opinion in Neurobiology, Vol. 12, No. 2, pp.
169–177 (2002).
5/5

Download Report