多感覚研究のための実験環境
室蘭⼯工業⼤大学
寺本 渉
2013年年⽇日本視覚学会夏季⼤大会＠札幌
内容
1. 実験環境の構築
¤ 視覚＋聴覚／触覚刺刺激の提⽰示
¤ 各聴覚／触覚刺刺激装置の特徴
¤ 考慮すべき点
¤ 同じ位置に（空間⼀一致性）
¤ 同じタイミングで（時間⼀一致性）→同期問題
2. Psychtoolboxを使った多感覚刺刺激提⽰示
¤ ⼿手順
¤ 同期問題
3. Pure Dataを使った多感覚刺刺激提⽰示
¤ デモ
¤ 同期問題
2013年年⽇日本視覚学会夏季⼤大会＠札幌
2
内容
1. 実験環境の構築
¤ 視覚＋聴覚／触覚刺刺激の提⽰示
¤ 各聴覚／触覚刺刺激装置の特徴
¤ 考慮すべき点
¤ 同じ位置に（空間⼀一致性）
¤ 同じタイミングで（時間⼀一致性）→同期問題
2. Psychtoolboxを使った多感覚刺刺激提⽰示
¤ ⼿手順
¤ 同期問題
3. Pure Dataを使った多感覚刺刺激提⽰示
¤ デモ
¤ 同期問題
2013年年⽇日本視覚学会夏季⼤大会＠札幌
3
実験環境の構築
視覚＋聴覚／触覚刺刺激の提⽰示
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
DA変換
アンプ
ラウドスピーカ ヘッドフォン
触覚刺刺激提⽰示装置
PC
CRT/LCD, HMD,
プロジェクタ，LED, …
DA変換
アンプ
振動刺刺激
2013年年⽇日本視覚学会夏季⼤大会＠札幌
電気刺刺激
空気刺刺激
4
実験環境の構築
視覚＋聴覚刺刺激の提⽰示
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
DA変換
アンプ
ラウドスピーカ ヘッドフォン
触覚刺刺激提⽰示装置
PC
・平原 (2009) 「はじめての聴覚実験 : ディジタルな世界に棲む⼈人々に伝えたい,
⾳音を鳴らし,測り,聴き⽐比べるときのお約束(やさしい解説)」
⽇日本⾳音響学会誌 65(2),
81-86
CRT/LCD,
HMD,
・平原 (1995)「聴覚実験⽤用ヘッドホン再考」
DA変換
プロジェクタ，LED,
…
アンプ
信学技法，EA応⽤用⾳音響，95(207),
17-24
振動刺刺激
2013年年⽇日本視覚学会夏季⼤大会＠札幌
電気刺刺激
空気刺刺激
5
実験環境の構築
視覚＋触覚刺刺激の提⽰示
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
DA変換
アンプ
ラウドスピーカ ヘッドフォン
触覚刺刺激提⽰示装置
PC
CRT/LCD, HMD,
プロジェクタ，LED, …
DA変換
アンプ
振動刺刺激
2013年年⽇日本視覚学会夏季⼤大会＠札幌
電気刺刺激
空気刺刺激
6
実験環境の構築
各触覚刺刺激装置の特徴
触覚刺刺激提⽰示装置
アタッチャブルスピーカ
(栄進電機)
振動刺刺激
電気刺刺激
空気刺刺激
①価格
②付随⾳音
あり
③磁性体
あり
④叩く受
容器
周波数に
よって異異
なる
触／圧／振動 etc
なし
あり
あり
なし
聴触覚実験
触，(痛）
2013年年⽇日本視覚学会夏季⼤大会＠札幌
fMRI実験
Sekiyama et al. (2012)
触，(⾵風=⽑毛包）
7
実験環境の構築
考慮すべき点1: 空間⼀一致性
多感覚間情報の統合／相互作⽤用
→イベントが同じ位置から⽣生じていることが重要
NEUROREPORT
bjects were able to correctly
he locations of the auditory
6%, 32%, and 10% of the
2, 8, 4 and 08, respectively.
or 50 ms were signiÆcantly
originating from the same
of 150 or 250 ms. For ƒt
腹話術効果
(a) Effect by location
Mean score
1.00
⾳音と光を同じ位置に知覚した割合
cts routinely perceived the
rent times.
o determine if there was an
al and temporal disparity
ry stimuli on the ventriloted on 1 kHz tone stimuli
Æcult to localize than noise
asures where the localizaear, and above threshold in
ee-way factorial analysis of
fferences in the responses
F à 849.2; p , 0.001), ƒt (df:
the interaction of the two
⾳音と光のずれの⼤大きさ
0.80
08
48
0.60
248
88
288
128
2128
0.40
0.20
0.00
0
50
100
150
delta t (ms)
250
Cntrl
Slutsky & Recanzone (2001)
(b) Effect by performance
1.00
2013年年⽇日本視覚学会夏季⼤大会＠札幌
8
実験環境の構築
考慮すべき点1: 空間⼀一致性（聴覚）
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
ラウドスピーカ ヘッドフォン
CRT/LCD, HMD,
プロジェクタ，LED, …
空間⼀一致性を保つのは難しい
（例例外：HRTF等を使う場合）
2013年年⽇日本視覚学会夏季⼤大会＠札幌
9
実験環境の構築
考慮すべき点1: 空間⼀一致性（聴覚）
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
ラウドスピーカ ヘッドフォン
Dynamic visual capture
の⽣生起しやすさ
S. Soto-Faraco et al. / Neuropsychologia 41 (2003) 1847–1862
CRT/LCD, HMD,
プロジェクタ，LED, …
Soto-Faraco et al. (2004)
2013年年⽇日本視覚学会夏季⼤大会＠札幌
10
実験環境の構築
考慮すべき点1: 空間⼀一致性（聴覚）
ベクションが頭部前後における水平方向の音像定位に及ぼす影響
聴覚刺刺激提⽰示装置
視覚刺刺激提⽰示装置
けた．NoVection 条件は，先行研究 [16
ンダム・ドットを 2 s 間のみ提示（左方
た．Vection 条件では，被験者がジョイ
ボタンをクリックしてベクション状態に
報告するまで，ランダム・ドット・パタ
に流し続けた．なお，実験に先立って，
クション現象についての説明を行い，
ベクション条件とベクションなし条件と
することができた．また，前述のように
リーンを使用したため，視野角は 90 d
ラウドスピーカ ヘッドフォン
験者全員がほぼ 10 s（9.5 ± 0.3 S）以内
図1
実験環境
を知覚した．
ターゲット音であるホワイトノイズは
Fig. 1 Experimental environment.
⾳音響透過型スクリーンの使⽤用
2 s 間提示した後（Vection 条件ではベク
入って 2 s 後），いずれかの基準音源位
る 7 つのスピーカの中からランダムに，
のスピーカから 200 ms 間提示した．そ
視点以外のすべての視覚刺激の表示を
s 後，基準音源位置に設置したスピーカ
として同じホワイトノイズを 200 ms 間
CRT/LCD, HMD,
プロジェクタ，LED, …
験者の作業課題は，スクリーンに提示さ
点を注視しながら，先行して出力された
が後続の基準音と比べて，左右どちらの
えたかを答える，二肢強制選択であった
分自身の身体軸ではなく，外部の基準点
崔，寺本，坂本，岩⾕谷，鈴鈴⽊木
(2012)より
図 2 設置したスピーカの様子（上面図）
Fig. 2 A state of the speaker array (top view).
2013年年⽇日本視覚学会夏季⼤大会＠札幌
基準音源位置の左右 0，± 2，± 4，± 6 deg に，7 個
源位置になるため，allocentric 作業課題
よう．回答は，ジョイスティックの左右
リックして行った．
11
実験は，1 つの基準音をワンセットと
A
B
実験環境の構築
考慮すべき点1: 空間⼀一致性（触⼒力力覚）
視覚刺刺激提⽰示装置
C
20
D
62
E
F
67
52
Maravita
et 152
al. (2004)
CRT/LCD, HMD,
プロジェクタ，LED, …
55
3
37
Figure 1. Effects of posture
monkey and human.
(A,B) Schematic receptive fi
sphere premotor or putamen
(A) The tactile RF for the illu
right hand/arm (shaded) an
rounding the hand (dotted ci
limb is passively moved over
accordingly, such that visua
position maximally excite
quences of posture change o
modal congruency task tha
distractors on tactile perform
cube in either hand, in which
squares) and 2 visual distra
Participants have to fixate
throughout, while being requ
a series of vibrotactile targe
thumb or index finger (lowe
tively) of either hand. A visua
on each trial together with
positions with participants in
(see text for a more detaile
paradigm). The values given
the magnitude of the crossm
onds: see text for an explan
elicited by visual distractors
crossmodal congruency ef
sented to the right hand are
congruency effect follows th
is changed: visual distractor
strongly, if that cube is held
posture (C), but lights on the
hands are crossed and the r
instead (D). (E,F) Failure to u
tactile space for a crossed p
The amount of interference
tially remains unchanged (at
tion of the right tactually st
congruency effects can also
visual distractors (circles) sit
hand, while the vibrotactile t
the hand. After extended too
effect attributable to the visu
the opposite side reverses (in
(but not the hands) are cross
redrawn from [49]; G,H redra
@室蘭⼯工⼤大
触覚刺刺激提⽰示装置
G
H
54
74
振動刺刺激
2013年年⽇日本視覚学会夏季⼤大会＠札幌
79
37
電気刺刺激
空気刺刺激
12
stimulation occurring the
実験環境の構築
考慮すべき点1: 空間⼀一致性（触⼒力力覚）
視覚刺刺激提⽰示装置
Ernst & Bülthoff(2004)
CRT/LCD, HMD,
プロジェクタ，LED, …
PHANTOM
2013年年⽇日本視覚学会夏季⼤大会＠札幌
13
n
y
i
e
n
f
s
:
o
y
y
e
.
y
e
t
e
l
考慮すべき点2: 同期（時間⼀一致性）
多感覚間情報の統合／相互作⽤用
→イベントが同じタイミングで⽣生じていることが重要
(⾳音速340m/sとした場合：AV10msずれ＝AVの距離離差3.4m)
NEUROREPORT
腹話術効果
Double flash
SIVM
L. Shams et al. / Cognitive Brain Research 14 (2002) 147 – 152
(a) Effect by location
1.00
0.40
08
48
248
88
288
0.20
128
2128
0.80
Mean score
e
実験環境の構築
0.60
0.00
0
50
100
150
delta t (ms)
250
Cntrl
(b) Effect by performance
Fig. 7. Results of Experiment 2. The horizontal axis represents the timing
of the variable-time beep from the flash. Zero denotes the time of the
flash and positive and negative numbers denote the time of the variable
beep when it occurs after or before the flash, respectively. The vertical
axis is a measure of the strength of the illusion. The illusion remains
strong within 115 ms of the flash.
Slutsky & Recanzone (2001)
1.00
Shams et al. (2002)
0 ms
0.80
50 ms
100 ms
general 2013年年⽇日本視覚学会夏季⼤大会＠札幌
attentional enhancement caused by auditory stimulation, as there is no illusory flash elicited by a single beep
(Experiment 1). It is not due to eye movements, as the
151
Interestingly, we found the same type of asymmetry in
the data reported in another paper [8] although the
modalities of the stimuli were the opposite (vision altering
audition). We noticed in the published data that the
influence of the discontinuous stimulation (cello plucking
video) on the percept of the continuous stimulus (bow
sound) was much stronger than the effect of continuous
(bowing video) on discontinuous stimulus (plucking
sound). These results taken together suggest that the
dependency of the crossmodal interactions on the stimulus
nature may be characterized as follows: the discontinuous
stimulus in one modality alters the percept of the continuous stimulus in the other modality and not as strongly vice
versa (Fig. 8).
Finally, we would like to address the relationship
between our findings and a phenomenon referred to in the
literature as ‘auditory driving’ [2,7,12,15]. The phenomenon can be described as follows: the frequency of a
fluttering sound influences the perceived frequency of a
flickering light. It should be pointed out that auditory
driving does not necessarily imply that the auditory flutter
breaks a single flash into two or more flashes resulting in a
perceived higher flicker frequency. An alternative and
simpler explanation for this phenomenon is 14
that the
perceived duration of each flash or the gap between two
successive flashes is altered by accompanying flutter.
Hidaka et al. (2009)
内容
1. 実験環境の構築
¤ 視覚＋聴覚／触覚刺刺激の提⽰示
¤ 各聴覚／触覚刺刺激装置の特徴
¤ 考慮すべき点
¤ 同じ位置に（空間⼀一致性）
¤ 同じタイミングで（時間⼀一致性）→同期問題
2. Psychtoolboxを使った多感覚刺刺激提⽰示
¤ ⼿手順
¤ 同期問題
3. Pure Dataを使った多感覚刺刺激提⽰示
¤ デモ
¤ 同期問題
2013年年⽇日本視覚学会夏季⼤大会＠札幌
15
Psychtoolboxを⽤用いた聴覚刺刺激提⽰示
¤ PTB3
¤ PsychPortAudio
1.
InitializePsychSound (1);
%デバイス&ドライバを探す
2.
PsychPortAudio (‘Open’, …);
%オープン
3.
PsychPortAudio (‘FillBuffer’, …); %Bufferに⾳音データ送信
4.
PsychPortAudio (‘Start’, …);
%⾳音の提⽰示
5.
PsychPortAudio ('Stop', …);
%⾳音提⽰示の停⽌止
6.
PsychPortAudio (‘Close’, …);
%クローズ
※詳細はPTB3に同梱の BasicSoundOutputDemo.m を参照のこと
¤ 簡単に多チャンネル制御可能
¤ 聴覚刺刺激を短い潜時で提⽰示可能
¤ Win: Asio(, MMEまたはDirectSound)ドライバを使⽤用
¤ Mac: CoreAudioドライバを使⽤用
2013年年⽇日本視覚学会夏季⼤大会＠札幌
16
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：計測⽅方法1 (提⽰示装置)
Macintosh
Mitsubishi RDF223H
1280x1024, 60Hz
Roland Octa-capture
Windows
MacBook pro 13in.
OS X 10.8.4
2.9GHz Intel Core i7
8GBメモリ
Intel HD Graphics 4000 512MB
Matlab R2012b
ドスパラ Prime Raytreck 2011
Windows 7 Professional SP1 64bit
3.2GHz Intel Core i7
12GBメモリ
Nvidia Quadro4000 2GB
Matlab R2010b
2013年年⽇日本視覚学会夏季⼤大会＠札幌
17
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：計測⽅方法2 (計測系)
計測条件
・サンプリングレート：1000 Hz
・分解能：16bit (-10V〜～10V)
※今回は前画⾯面提⽰示のため左上に設置
通常は刺刺激提⽰示位置
フォトダイオード
Mitsubishi RDF223H
1280x1024, 60Hz
Roland Octa-capture
オーディオI/Fの出⼒力力
AD変換器
2013年年⽇日本視覚学会夏季⼤大会＠札幌
PC
18
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：計測⽅方法2 (計測系)補⾜足
200
150
ほぼ等しい
100
50
代わりに
0
-10 -8 -6 -4 -2 0
輝度度計のアナログ出⼒力力
フォトダイオード
2
4
輝度度計
の出⼒力力先
6
8
10
ダイオード
の出⼒力力先
200
150
ほぼ等しい
100
50
代わりに
オーディオI/Fの出⼒力力
0
-10 -8 -6 -4 -2 0
⼈人⼯工⽿耳＋騒⾳音計のアナログ出⼒力力
2013年年⽇日本視覚学会夏季⼤大会＠札幌
騒⾳音計
の出⼒力力先
2
4
6
8 10
オーディオI/F
の出⼒力力先
19
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：⽤用いたAV刺刺激
⽩白刺刺激をflip宣⾔言に合わせて，
⾳音提⽰示と記述↓
Screen('Flip', …);
600 ms
PsychPortAudio('Start’, …);
1kHz純⾳音
サンプリング周波数：44.1kHz
バッファサイズ：64samples
400 ms
50試⾏行行 x 4ブロック = 200試⾏行行
2013年年⽇日本視覚学会夏季⼤大会＠札幌
20
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題(⾳音提⽰示の潜時)
Tested configurations of OS & Sound hardware: Optimal parameter settings with
measured results
http://psychtoolbox.org/psychportaudio
2013年年⽇日本視覚学会夏季⼤大会＠札幌
21
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：結果 (Mac編)
180"
Mac
120"
60"
0"
'20"
'10"
光先
0"
10"
20"
⾳音先
平均：-3.945 ms (光が先)
SD : 0.503 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
22
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：結果 (Mac編)
A潜時
無⾳音
Flip -1
(A提⽰示)
'20"
'10"
光先
調整後
180"
Mac
Flip 0
(V提⽰示)
180"
120"
120"
60"
60"
0"
0"
0"
10"
20"
Ｖ提⽰示の1つ前の
flipで⾳音提⽰示 + ⾳音
に12.7 msの無⾳音
を追加
⾳音先
平均：-3.945 ms (光が先)
SD : 0.503 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
平均：-0.365 ms
SD : 0.569 ms
23
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：結果 (Win編)
180"
Win
120"
60"
0"
光先
⾳音先
平均：-30.623 ms
SD : 0.782 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
24
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
同期問題：結果 (Win編)
調整後
180"
180"
120"
120"
60"
60"
0"
0"
Win
光先
Ｖ提⽰示の2つ前の
flipで⾳音提⽰示 + ⾳音
に3 msの無⾳音を
追加
⾳音先
平均：-30.623 ms
SD : 0.782 ms
平均：-0.668 ms
SD : 0.909 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
25
Psychtoolboxを⽤用いた聴覚／触覚刺刺激提⽰示
まとめ
フォトダイオード
Mitsubishi RDF223H
1280x1024, 60Hz
それぞれの実験環境の実態
を把握しておくのがベター
Roland Octa-capture
サウンドI/Fの出⼒力力
AD変換器
2013年年⽇日本視覚学会夏季⼤大会＠札幌
PC
26
内容
1. 実験環境の構築
¤ 視覚＋聴覚／触覚刺刺激の提⽰示
¤ 各聴覚／触覚刺刺激装置の特徴
¤ 考慮すべき点
¤ 同じ位置に（空間⼀一致性）
¤ 同じタイミングで（時間⼀一致性）→同期問題
2. Psychtoolboxを使った多感覚刺刺激提⽰示
¤ ⼿手順
¤ 同期問題
3. Pure Dataを使った多感覚刺刺激提⽰示
¤ デモ
¤ 同期問題
2013年年⽇日本視覚学会夏季⼤大会＠札幌
27
Pure Dataを⽤用いた聴覚刺刺激提⽰示
Pure Dataとは？
¤ Pure Dataとは･･･
⾳音や映像等マルチメディア素材製作⽤用プログラミング環境
¤ データフロー型プログラミング
データの流流れを箱と線で⽰示すプログラム
¤ 無償
¤ 有償→Max/MSP
(2009年年多感覚研究会で宮城⼤大・茅原先⽣生が紹介)
¤ クロスプラットフォーム
¤ 簡単に多チャンネル制御ができる
¤ ネットワークを通じた周辺機器との接続が⽐比較的簡単
¤ IPhone/IPad, Kinect, Wiiリモコン, …
2013年年⽇日本視覚学会夏季⼤大会＠札幌
28
Pure Dataを⽤用いた聴覚刺刺激提⽰示
デモ
¤ マルチチャンネル再⽣生
¤ LED, 聴覚刺刺激，触覚刺刺激を制御するのに便便利利
¤ Rabbit illusion⽤用パッチ
¤ GEM(Graphics Environment for Multimedia)による
視覚刺刺激提⽰示
¤ OpenGLの各種機能を使うことができる
¤ ガボールパッチ運動刺刺激
¤ ネットワークを通じた周辺機器との接続
¤ iPad/iPodとの接続
¤ Kinectとの接続
→他webサイト参照のこと
2013年年⽇日本視覚学会夏季⼤大会＠札幌
29
Pure Dataを⽤用いた聴覚刺刺激提⽰示
デモ1 (マルチチャンネル再⽣生)
¤ Rabbit illusion⽤用パッチ
3ch分
http://cas.csse.muroran-it.ac.jp/rabbitdemo.zip
2013年年⽇日本視覚学会夏季⼤大会＠札幌
刺刺激位置，提⽰示時間間隔等
パラメータの詳細は：
Geldard & Sherrick (1972)
Science, 178, 178–179
30
Pure Dataを⽤用いた聴覚刺刺激提⽰示
デモ2 (drifting Gabor)
¤ Gabor 運動刺刺激パッチ
Mac環境では，キーボードの
‘k’で運動開始，’esc’で終了了。
Win環境では，右上の’sel 40’
の40と左下の’sel 53’の53を
変更更する必要あり
http://cas.csse.muroran-it.ac.jp/gabordemo.zip
2013年年⽇日本視覚学会夏季⼤大会＠札幌
31
Pure Dataを⽤用いた聴覚刺刺激提⽰示
同期問題：計測条件
p マルチチャンネル再⽣生時：1ch⽬目と7ch⽬目の同期
p GEM＋⾳音
600 ms
400 ms
1kHz純⾳音
サンプリング周波数：44.1kHz
バッファサイズ：64samples
50試⾏行行 x 4ブロック = 200試⾏行行
2013年年⽇日本視覚学会夏季⼤大会＠札幌
32
Pure Dataを⽤用いた聴覚刺刺激提⽰示
同期問題：結果 (AV同期)
180"
GEM環境
AVずれ
Mac
＋
Pd120"
ディスプレイの垂直同期に
合わせて描画＋⾳音提⽰示をお
こなっていないため⽣生起
60"
0"
光先
⾳音先
平均：8.530 ms (音が先)
SD : 6.385 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
33
Pure Dataを⽤用いた聴覚刺刺激提⽰示
同期問題：結果 (ch間同期)
Ch1-Ch7間ずれ
180"
Mac
＋
Pd
120"
Ch間の同期は⾼高い精度度で
確保できる
60"
0"
ch1先
ch7先
平均：1.115 ms (ch7が先)
SD : 0.993 ms
2013年年⽇日本視覚学会夏季⼤大会＠札幌
34
Pure Dataを⽤用いた聴覚刺刺激提⽰示
¤ お⼿手軽
¤ LED + 聴覚刺刺激／触覚刺刺激
→ ある程度度信頼できる
¤ OpenGL等を使った場合
→ 単純なプログラムでは時間処理理に問題がある
→Vsyncに合わせて描画／⾳音信号発⽣生を⾏行行うしくみが必要
2013年年⽇日本視覚学会夏季⼤大会＠札幌
35
全体のまとめ
¤ 多感覚研究のための実験環境の構築
¤ 多様な聴覚刺刺激提⽰示装置，触覚刺刺激提⽰示装置
¤ メリット，デメリットあり
¤ 空間⼀一致性
¤ 時間⼀一致性
¤ Psychtoolboxを⽤用いた多感覚刺刺激提⽰示
¤ ⽐比較的簡単
¤ 同期問題：⾃自分の使う実験環境で測定をする必要有
¤ Pure dataを⽤用いた多感覚刺刺激提⽰示
¤ 多チャンネル環境をお⼿手軽に設計できる
¤ ただし，Opengl環境では現在のところ難あり
2013年年⽇日本視覚学会夏季⼤大会＠札幌
36
© Copyright 2025 Paperzz
