オノマトペ処理と視覚的運動処理の統合メカニズム

オノマトペ処理と視覚的運動処理の統合メカニズムキーワード：オノマトペ，音象徴，運動知覚，多感覚統合，bistable motion 行動システム専攻郷原皓彦 4 条件に設定した。
背景
オノマトペは擬音語 (e.g., ワンワン) と擬態語 (e.g.,
方法ザラザラ) の総称であり，音象徴性を有する語であると
実験参加者実験 1 は 9 名，
実験 2 および実験 3 はそれぞ
されている。音象徴 (sound symbolism) とは，子音や母
れ 11 名の学生が実験に参加した。
音が特定の心的イメージと結びつく現象であり，例えば
装置と刺激装置は PC および 22 インチ CRT モニターを
/b/ が丸みを帯びた形状，/k/ が鋭い形状のイメージに対
使用した。視覚運動刺激は同一のガボールパッチ 2 個
応する (Ramachandran & Hubbard, 2001)。オノマトペは音
(方位 90 deg, 空間周波数 1.5 cpd, 輝度コントラスト 0.3,
象徴に基づいた豊富な運動イメージを喚起させると考え
エンベロープ 0.365 deg) であった。パッチはモニター中
られているが，オノマトペの処理により視覚的な運動処
央のグレーの正方形の左右両端から呈示され，水平方向
理に影響が生じるか，両者間での統合が生じるかは解明
に 8.28 deg/s の速度で対極に到達するまで運動した。実
されていない。本研究ではこの問題に対し，一対の運動
験 1 では，オノマトペ刺激として「コツッ」
，
「ガツッ」
，
刺激が交差・反発のいずれにも知覚されうる運動刺激
「シュッ」
，
「サラッ」の 4 種類のそれぞれにひらがなと
(交差・反発刺激: SBD) にオノマトペを同時呈示し，オ
カタカナの 2 種類を設定し，統制刺激としてオノマトペ
ノマトペが SBD の知覚における交差・反発の判断に影響
を呈示しない条件 (無し条件) を設定した。実験 2 (視覚)
を与えるかを調べることで検討した。また，SBD におい
および実験 3 (聴覚) では「ガツッ」
，
「シュッ」
，統制刺
て運動刺激が重なる瞬間とオノマトペの呈示される瞬間
激として無意味綴りに促音「ッ」を加えた「へユッ」の
との呈示時間差を設けることで，オノマトペ処理と視覚
3 種類を使用した。実験 3 ではオノマトペを聴覚呈示す
的運動処理の統合時間窓についても検討した。
るため，Softalk により各オノマトペの合成音声を作成し
た。視覚呈示時のオノマトペの呈示時間は全て 200 ms
実験 1・実験 2・実験 3 で，
音声呈示時のオノマトペの呈示時間は
「ガツッ」
，
「シ
実験 1・実験 2・実験 3 では，オノマトペ処理と視覚的
ュッ」
，
「サラッ」それぞれ 275 ms, 195 ms, 274 ms であっ
運動処理との間で統合が生じるか，生じるのであれば統
た。
合時間窓はどのような範囲であるかを検討した。そのた
手続き一試行の例を Figure 1a に示す。実験参加者はス
めに，SBD に反発あるいは交差を表すオノマトペを視覚
ペースキーを押すことでそれぞれの試行を開始した。注
(実験 1・実験 2)，聴覚 (実験 3) 同時呈示し，反発と回
視点および刺激のパッチが 1000 ms 呈示され，注視点が
答される割合を測定した。
また実験 2 および実験 3 では，
消えると同時にパッチが運動を開始した。実験 1 では，
オノマトペの呈示時間差を運動刺激が完全に重なる瞬間
パッチが完全に重なる 100 ms 前にオノマトペが視覚呈
から±500 ms，±100 ms (負値はオノマトペを先行呈示) の
示された。実験 2 では，パッチが完全に重なる瞬間から
㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹
䜺䝒䝑
time
཯Ⓨ࡜ᅇ⟅ࡉࢀࡓ๭ྜ
b
c
1
0.9
0.8
཯Ⓨ࡜ᅇ⟅ࡉࢀࡓ๭ྜ
a
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
-500
-100 +100
+500
࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ
࿊♧᫬㛫ᕪPV
の結果
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ
Figure 1a. 実験手続きの例 1
0.9
Figure 1b. 実験 2 の結果 0
-500
-100 +100
࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ
+500
࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ
࿊♧᫬㛫ᕪPV
Figure 1c. 実験 3
±500 ms，±100 ms のいずれかの呈示時間差でオノマトペ
実験 4・実験 5・実験 6・実験 7 が視覚呈示された。実験 3 では実験 2 と同じ呈示タイミ
実験 4・実験 5 ではオノマトペの音節の長さを揃える
ングで，それぞれの呈示時間でオノマトペが聴覚呈示さ
ことで，実験１から実験 3 で得られた結果がオノマトペ
れた。パッチが対極に達すると同時に，参加者はパッチ
の音節の長さの違いによるものであるかを確認した。そ
が交差・反発のどちらに見えたかを左キーあるいは右キ
のためにオノマトペを「ガッ」
，
「サッ」
，
「ハッ」の 3 種
ーで回答することを求められた。
類に変更して検討した。
結果と考察実験 6・実験 7 ではオノマトペの持つ音象徴のみによ
各オノマトペおよび呈示時間差において反発と回答さ
っても SBD における交差・反発の知覚的な判断に影響が
れた割合を測定し，分析に利用した。なお，実験 1 では
生じるかを検討した。そのために，一般的に反発あるい
各条件と無し条件との差分を分析に用いた。また，実験
は交差を表す語として用いられない一方で，反発と結び
1 の全条件で反発の割合が 10%以下であった参加者 1 名
つく子音 /g/ を持つ「ゲッ」
，交差と結びつく子音 /s/ を
を分析から除外した。実験 2 と実験 3 の結果を Figure 1b
持つ「セッ」
，統制刺激の「ヘッ」の 3 種類にオノマトペ
および Figure 1c に示す。二要因分散分析の結果，実験 1
刺激を変更した。
ではオノマトペの有意な主効果が見られ (F (3, 21) =
方法 44.64, p < .001)，反発を表すオノマトペの呈示により反発
実験参加者実験 4 は 12 名，実験 5，実験 6，実験 7 はそ
と回答される割合が増加し，交差を表すオノマトペの呈
れぞれ 10 名の学生が実験に参加した。
示により交差と回答される割合が増加した。一方，表記
装置と刺激装置と運動刺激は実験 2・実験 3 と同様であ
形態の主効果および交互作用は有意ではなかった (表記
った。聴覚呈示での呈示時間は「ガッ」
，
「サッ」
，
「ハッ」
形態：F (1, 7) = 3.30, p = .11; 交互作用：F (3, 21) = 1.98, p
がそれぞれ 150 ms, 172 ms, 170 ms であり，
「ゲッ」
，
「セ
= .15)。実験 2 ではオノマトペと呈示時間差の双方で有意
ッ」
「ヘッ」
，
がそれぞれ 147 ms, 156 ms, 190 ms であった。
な主効果が見られ (オノマトペ：F (2, 18) = 36.18, p
手続き実験 1・実験 2・実験 3 と同様であった。
< .001; 呈示時間差：F (3, 27) = 3.78, p < .05)，交互作用も
結果と考察有意であった (F (6, 54) = 7.24, p < .001)。下位検定の結果，
各オノマトペおよび呈示時間差において反発と回答さ
全ての呈示時間差でオノマトペの単純主効果が有意であ
れた割合を測定し，分析に利用した。実験 4 の全条件で
った (-500 ms：F (2, 18) = 13.58, p < .001 ; -100 ms：F (2,
反発の割合が 10%以下であった参加者 3 名を分析から除
18) = 32.24, p < .001 ; +100 ms：F (2, 18) = 20.82, p < .001 ;
外した。
実験 6 および実験 7 の結果をそれぞれ Figure 2a，
+500 ms：F (2, 18) = 7.38, p < .01) 。また，
「ガツッ」条件
Figure 2b に示す。二要因分散分析の結果，実験 4 および
でのみ呈示時間差の単純主効果が有意であった (F (3,
実験 5 の双方において実験 2 および実験 3 と同様の結果
27) = 9.37, p < .001)。実験 3 も実験 2 と同様に，オノマト
であり，
「ガッ」
の呈示により反発と回答される割合が増
ペおよび呈示時間差の有意な主効果が見られ (オノマト
加し，
「サッ」
の呈示により交差と回答される割合が増加
ペ：F (2, 20) = 10.29, p < .001; 呈示時間差：F (3, 30) = 4.52,
した。これより，実験１から実験 3 で得られた結果はオ
p < .01)，交互作用も有意であった (F (6, 60) = 5.43, p
ノマトペの音節の長さの違いによるものではないことが
< .001)。下位検定の結果，+500 ms 以外の条件において
確認された。実験 6 と実験 7 ではいずれもオノマトペの
オノマトペの単純主効果が有意であった (-500 ms：F (2,
主効果が有意であったが (実験 6 : F (2, 18) = 6.08, p < .01,
20) = 9.70, p < .01 ; -100 ms：F (2, 20) = 10.98, p < .001 ;
実験 7 : F (2, 18) = 4.50, p < .05)，各オノマトペ間での差は
+100 ms：F (2, 20) = 7.94, p < .01)。また，
「ガツッ」条件
有意でなかった。また，いずれも呈示時間差の主効果が
でのみ呈示時間差の単純主効果が有意であった (F (3,
有意であったが (実験 6 : F (3, 27) = 9.69, p < .001; 実験
動処理との間で統合が生じ，SBD の知覚における交差・
反発の判断に影響を与えること，その影響にオノマトペ
の表記形態は関与しないこと，統合時間窓は-500 ms から
b
཯Ⓨ࡜ᅇ⟅ࡋࡓ๭ྜ
の呈示モダリティにおいて，オノマトペ処理と視覚的運
㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹
a
཯Ⓨ࡜ᅇ⟅ࡋࡓ๭ྜ
30) = 7.67, p < .001)。これらの結果から，視覚・聴覚双方
+100 ms の間であることが示唆された。
࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ
࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ
࿊♧᫬㛫ᕪPV
࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ
࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ
࿊♧᫬㛫ᕪPV
Figure 2a. 実験 6 の結果 Figure 2b. 実験 7 の結果
= .26)。これらの結果から，オノマトペの音韻処理および
音象徴によって喚起される心的イメージも視覚的運動処
理と統合され，SBD の知覚に影響を与えることが確認さ
b
཯Ⓨ䛸ᅇ⟅䛧䛯๭ྜ
(実験 6 : F (6, 54) = 1.25, p = .30; 実験 7 : F (6, 54) = 1.33, p
㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹
a
཯Ⓨ䛸ᅇ⟅䛧䛯๭ྜ
7 : F (3, 27) = 9.17, p < .001)，交互作用は有意でなかった
れた。さらに音象徴の SBD の知覚への影響は支配的と言
えるほどに強力ではなく，統合時間窓は±100 ms の間で
あることが明らかとなった。これは実験 2 および実験 3
⇍ㄒ࿊♧ࡀᚋ
⇍ㄒ࿊♧ࡀඛ
⇍ㄒ࿊♧䛜ඛ
࿊♧᫬㛫ᕪPV
⇍ㄒ࿊♧䛜ᚋ
࿊♧᫬㛫ᕪ㻌㻔㼙㼟㻕
Figure 3a. 実験 9 の結果 Figure 3b. 実験 10 の結果で示唆された統合時間窓とは異なっている。このことか
であった (-500 ms：F (2, 14) = 10.34, p < .01 ; -100 ms：F (2,
ら，実験 1 から実験 3 で得られた結果にはオノマトペの
14) = 17.20, p < .001 ; +100 ms：F (2, 14) = 7.91, p < .01)。
持つ音象徴性のみならず，別の要因も存在することが考
また，
「反発」条件でのみ呈示時間差の単純主効果が有意
えられる。そこで，別の要因がどのようなものであるか
であった (F (3, 21) = 4.53, p < .05)。実験 3 では熟語およ
を検討するため，以下の実験で検討した。
び呈示時間差の有意な主効果が見られ (熟語：F (2, 16) =
15.99, p < .001; 呈示時間差：F (3, 24) = 5.86, p < .01)，交
実験 8・実験 9・実験 10 互作用も有意であった (F (6, 48) = 5.84, p < .001)。下位検
実験 8・実験 9・実験 10 では漢字二字からなる熟語を
定の結果，+500 ms 条件以外の呈示時間差において熟語
SBD に同時呈示し，SBD との統合がオノマトペ以外の音
の単純主効果が有意であった (-500 ms：F (2, 16) = 8.87, p
象徴性を持たない語によっても生じるのか，統合の度合
< .01; -100 ms：F (2, 16) = 15.05, p < .001; +100 ms：F (2, 16)
いや時間窓がオノマトペを呈示した場合と異なるかを検
= 16.12, p < .001)。また，
「反発」条件でのみ呈示時間差
討した。
の単純主効果が有意であった (F (3, 24) = 10.21, p < .001)。
方法これらの結果から，視覚・聴覚双方のモダリティで熟語
実験参加者実験 8 および実験 9 はそれぞれ 8 名，実験
を呈示した場合でも視覚的運動処理との間で統合が生じ，
10 は 9 名の学生が実験に参加した。
SBD の知覚における交差・反発の判断に影響を与えるこ
装置と刺激装置と運動刺激は実験 1・実験 2・実験 3 と
と，また統合時間窓もオノマトペと同様に-500 ms から
同様であった。
実験 8 では熟語刺激として，
「反発」
，
「衝
+100 ms の間であることが明らかになった。このことか
突」
，
「交差」
，
「通過」の 4 種類および統制刺激として熟
ら，オノマトペ処理と熟語の処理には共通した処理過程
語を呈示しない条件 (無し条件) を設定した。実験 9 (視
が存在することが示唆された。さらに熟語が明確な意味
覚) および実験 10 (聴覚) では「反発」
，
「交差」
，統制刺
情報を持つ一方で音象徴性を有していないことから，共
激として反発および交差の意味を持たない「回復」の 3
通した処理過程は意味処理過程であると考えられる。
種類を使用した。聴覚呈示における呈示時間はそれぞれ
470 ms, 335 ms, 374 ms であった。
実験 11 手続き実験 1・実験 2・実験 3 と同様であった。
実験 11 ではこれまでの実験で得られた結果が単純な
結果と考察反応バイアス，つまり運動刺激に関係なく特定の語が呈
各熟語および呈示時間差において反発と回答された割
示された時に特定のキーを押したことによって生じてい
合を測定し，分析に利用した。実験 8 では各条件と無し
る可能性について検討した。そのために，交差あるいは
条件との差分を分析に用いた。
実験 9 と実験 10 の結果を
反発とは無関連かつ回答キーの方向を示す言語刺激を視
Figure 3a および Figure 3b に示す。一要因分散分析の結果，
覚呈示して，言語刺激の示す方向へのキー入力の割合が
実験 8 では熟語の主効果が有意であった (F (3, 21) =
増加するかを調べた。
11.35, p < .001)。これより，熟語を呈示した場合でも SBD
方法の知覚への影響が生じることが確認された。二要因分散
実験参加者 8 名の学生が実験に参加した。
分析の結果，
実験 9 では熟語の主効果が見られたが (F (2,
装置と刺激装置と運動刺激は実験 1・実験 2・実験 3 と
14) = 13.35, p < .001)，呈示時間差の主効果は有意でなか
同様であった。言語刺激として，
「左」
，
「右」の 2 種類お
った(F (3, 21) = 2.85, p = .06)。また，交互作用が有意であ
よび統制刺激として言語刺激を呈示しない条件 (無し条
った (F (6, 42) = 4.25, p < .01)。下位検定の結果， +500 ms
件) を設定した。また，これまでの実験と同様に±500 ms，
条件以外の呈示時間差において熟語の単純主効果が有意
±100 ms の呈示時間差を設けた。
手続き実験 1・実験 2・実験 3 と同様であった。
次レベルの知覚そのものを変えているのか，それとも運
結果と考察動刺激が交差・反発のどちらであるかの高次レベルの判
各条件で反発と回答された割合を分析に利用した。ま
断，つまり知覚的意思決定に影響を与えているかは本研
た，
「左」条件および「右」条件を，交差の回答キーと同
究の結果のみから断言できない。しかしながら，言語刺
じ方向を示す言語刺激が呈示された場合 (交差同方向条
激の処理により SBD のような bistable motion に対する知
件)，反発の回答キーと同じ方向を示す言語刺激が呈示さ
覚的意思決定が修正されることから (Francken, Kok,
れた場合 (反発同方向条件) とにまとめて分析に用い
Hagoort, & de Lange, 2014)，オノマトペ処理も高次の知覚
た。各言語刺激・呈示時間差条件と「なし」条件との間
的意思決定に影響を与えていると予想される。これまで
で対応のある t 検定を行ったところ，いずれの条件との
の結果と考察を踏まえて作成したオノマトペ処理と視覚
間にも有意差は見られなかった (ps > .05)。この結果から，
的運動処理の統合モデルを Figure 4 に示す。
これまでの実験で得られた結果が言語刺激による単純な
本研究の結果のみでは解明されていない課題も存在す
反応バイアスではないことが明らかになった。
る。例えば，オノマトペが運動方向の検出のような低次
レベルの運動処理に影響するかは不明であり，これは
総合考察 SBD 以外の運動刺激にオノマトペを同時呈示すること
本研究の結果から，視覚・聴覚双方の呈示モダリティ
で検討が可能である。オノマトペ処理と視覚的運動刺激
において，意味処理過程と音韻処理過程の双方において
の統合についてさらなる検討を重ねていくことにより，
オノマトペ処理と視覚的運動処理との統合が生じること
オノマトペ処理の持つ特異性を明らかにできるとともに，
が明らかになった。さらに意味処理過程と音韻処理過程
言語処理，視覚処理，聴覚処理間のネットワークの解明
では視覚的運動処理との統合時間窓が異なることが解明
へと繋がっていくことが期待される。
された。
▱ぬⓗពᛮỴᐃ
本研究では反発を表す語 (e.g., ガツッ) を呈示した時
㧗ḟ䛾⤫ྜฎ⌮
に安定して反発と回答される割合が上昇したが，交差を
表す語 (e.g., シュッ) では SBD の知覚への影響は小さ
ព࿡ฎ⌮
㡢㇟ᚩ
く，統制条件との差が見られないこともあった。また，
交差を表す語では呈示時間差の影響も見られなかった。
㡢㡩ฎ⌮
ᙧែฎ⌮
పḟ䛾㐠ືฎ⌮
この理由として，床効果が考えられる。SBD は本来交差
と知覚される割合が優位であるため (e.g., Goldberg &
Pomerantz, 1982)，交差を表す語の効果が結果に表れてい
なかった可能性がある。
統合時間窓に着目すると，反発を表すオノマトペある
䜸䝜䝬䝖䝨䛾ධຊ
どぬⓗ㐠ື่⃭䛾ධຊ
Figure 4. オノマトペ処理と視覚的運動処理の統合モデル
いは熟語を呈示した時には-500 ms から+100 ms の範囲で
引用文献あり，時間窓が不均整である。これについては，運動プ
Francken, J. C., Kok, P., Hagoort, P., & de Lange, F. P. (2014).
ライミング効果 (e.g., Kanai & Verstraten, 2005) による説
The behavioral and neural effects of language on motion
明が可能である。つまり，反発を表すオノマトペあるい
perception. Journal of Cognitive Neuroscience, 27,
は熟語をパッチの重なる 500 ms 前に先行呈示すること
175-184.
で反発に関する動的な心的表象が喚起され，SBD におけ
Goldberg.D.M & Pomerantz.J. R. (1982). Models of illusory
る反発方向へのプライミングが生じていたと考えられる。
pausing and striking. Journal of Experimental Psychology:
また，反発に関連する音象徴性を有していないオノマト
Human Perception & Performance, 8, 547-561.
ペ (e.g., ゲッ) では-500 ms 条件における反発の回答割
Kanai. R. & Verstraten. F. A. J. (2005). Perceptual
合の増加が確認できなかったことから，この言語刺激に
manifestations of fast neural plasticity: Motion priming,
よる運動プライミング効果は音韻処理過程ではなく，意
rapid motion aftereffect and perceptual sensitization.
味処理過程で生じていることが予想される。
Vision Research, 45, 3019-3116.
本研究では運動刺激として SBD を採用し，交差・反発
Ramachandran,
V.
S.,
&
Hubbard,
E.
M.
(2001).
の知覚的な判断課題を行った。そのため，オノマトペ処
Synaesthesia—a window into perception, thought and
理と視覚的運動処理の統合により，運動刺激に対する低
language. Journal of Conscious Studies, 8, 3–34.

Download Report