バーチャル聴覚ディスプレイ技術を応用したヒューマン エコーロケーション訓練システムの開発（第 1 報） Development of Human Echolocation Training System for the Visually Handicapped by applying Virtual Auditory Display Technology – the 1st report. ○大内誠 1，岩谷幸雄 2，関喜一 3 Makoto OH-UCHI1, Yukio IWAYA2, Yoshikazu SEKI3 1 東北福祉大学，2 東北大学，3 産業技術総合研究所 1 Tohoku Fukushi University, 2Tohoku University, 3 National Institute of Advanced Industrial Science and Technology (AIST) . 要旨 イルカやコウモリは，自ら発する音声が壁や障害物，餌等に反射して戻ってくる音を聴覚で捕捉 し，元の音声とのわずかな差異を識別することによって対象物までの距離や大きさまで捉えることがで きる。これを「反響定位」という。外界の情報を視覚から得られない全盲者にとっても，この反響定位 は有益であり，実際に多くの視覚障害者によって積極的に利用されているが，その獲得方法はさまざま で一貫していない。本研究では，３次元音響バーチャルリアリティの技術を応用し，バーチャル空間の 中で安全にしかも効果的に反響定位の訓練ができるシステムの開発を行った。今回は，そのプロトタイ プが完成したので報告する。 Abstract It is well known that dolphins and bats use echolocation. They emit calls out to the environment and listen to the echoes of those calls that return from various objects in the environment. They employ echolocation to locate and identify the objects. Echolocation is also beneficial for blind people who cannot get the information from the eyes. This ability, human echolocation, is used aggressively by some blind people. However, it has not yet been established clearly how to train this ability. In this study, the authors applied 3-D sound virtual technology and developed a new system for the visually handicapped to train human echolocation effectively and safely. １． はじめに 視覚から情報を得られない全盲者や強度の 弱視者は，一般に白杖を持って外出する。白 杖は，進行方向にある障害物や歩道の状況 （段差や曲がり角）などを知らせてくれる極めて 重要な空間情報提示ツールとなる。同時に，白 杖が地面を叩くことによって発せられる音やそ の反射音は，視覚障害者が空間認知する際の 重要な手がかりになることが最近の研究によっ て徐々に明らかとなってきた。すなわち「反響定 位（ヒューマン・エコーロケーション）」である。 反響定位はイルカやコウモリなどが補餌する 際に行われることはよく知られており，暗闇の中 でも捕餌できる極めて有益な能力であることが 分かっている。一方，視覚障害者にとっても反 響定位は有益であることが分かっているものの， その能力の獲得機序や効果的な訓練技法など が確立されていないため，視覚支援学校やリハ ビリテーション施設などにおいては，基本的な 反響定位訓練しか行われていない。 そこで，本研究では，３次元音響バーチャル リアリティ(Virtual Reality : VR)の技術を応用 し，仮想空間の中で安全にしかも効果的に反 響定位の訓練ができるシステム（装置，訓練コ ンテンツ，コースウェア）の開発を行い，あわせ て，訓練技法を考案する。これによって，視覚 障害者の空間認知能力や障害物などを回避す る能力を飛躍的に向上させることができ，ひい ては視覚障害者の QOL(Quality Of Life：生 活の質)の向上に寄与できるものと考える。 今回は，システムの一部が完成したので，報 告する。 ２．研究背景と過去の研究 視覚障害者の聴覚による障害物知覚の研究 は，イルカの反響定位を発見した Kellogg から 始まるが[1]，視覚障害者が反響音のどの部分 をどのように利用しているのか最近まで不明で あった。しかし，近年，伊福部・関らの音響工学 的な研究により，足音（白杖音）と反射音の到着 時間の差異による音像の移動（先行音効果）， 障害物による両耳間相関係数の変化，さらには 足音と反射音の外耳道内での位相干渉による 音程の変化などが障害物知覚の手がかりにな ることが分かってきた[2]。また，Kish は，舌打 ちの反射音を聞き分けて障害物知覚を行う訓 練技法を考案し，実際に全盲の子供たちに訓 練を行ったところ，建物や塀はもとより，木立ち やフェンスまで知覚できるようになり，さらには自 転車にも乗れるようになったと報告している[3]。 ところで，近年，音響工学や VR の技術を視 覚障害者福祉に応用する試みが盛んに行われ， 実績を上げつつある。関らは，盲人の障害物知 覚の機序を明らかにした上で，その知見を応用 した障害物知覚能力や歩行能力を訓練するた めの，3D サウンドを用いた聴覚空間認知訓練 システムを開発した。このシステムを用いて実際 に歩行訓練を行ったところ，歩行訓練にはつき ものの心理的負担が有意に軽減されたと報告 している[4]。棟方らは，3 次元音響空間を用い た e-Learning System を開発した。このシステ ムは，視覚障害児の音像定位能力を向上させ る こ とを 目的と し ， その効 果 が示 され た [5] 。 Sánchez らは，視覚障害児が 3 次元音響技術 を用いて構築された対話型のバーチャル環境 の中を移動することによって，その環境の視覚 的な心象風景を作り上げるための装置を開発し た[6]。 一方，岩谷らは，頭部運動に動的に追随可 能な頭部運動感応型聴覚ディスプレイ装置を 開発した[7]。この装置は，伝達関数合成法を 応用したヘッドフォン受聴タイプの聴覚ディスプ レイである。著者らは，これを応用した，視覚障 害者のための 3 次元音響 VR ゲームコンテンツ 「ホイピッピ」を試作した[8]。このゲームのテー マは，「音に触る（さわる）」ことであり，空中に浮 遊するバーチャル音源を手で叩くことによって 得点が得られる，いわばモグラ叩き型のゲーム である。このゲームを繰り返し行うことにより，身 体の近辺にある音源位置を同定し，そこに手を 伸ばす能力「reaching」を向上させることが可 能であると仮説を立てた。reaching は，視覚障 害者にとって極めて重要な能力であり，その向 上は ADL(Activities of Daily Living)能力に 対して多大な寄与となる。この仮説の下，10 名 の被訓練者に対して 10 日間（1 日 15 分間）の 訓練を行った結果，reaching 能力が訓練前に 比べて有意に向上することが示された[9]。さら に著者らは，視覚障害者の認知地図形成を支 援するための 3D サウンド訓練システムを開発し， そのバーチャル環境内を歩行することによって， 効率的，かつ安全に認知地図が形成されること を確認した。 なお，これまで述べた研究において，反響定 位訓練のみを主たる目的としたものは存在しな い。 ３．開発の概要 ３－１ バーチャル聴覚ディスプレイの原理 バ ー チ ャ ル 聴 覚 デ ィ ス プ レ イ (Virtual Auditory Display : VAD)は，任意の位置に音 像を定位させることが可能な装置である。一般 に音波は，音源から発せられた後，壁や障害物 などに反射したり回折したりして変形される。こ れを制御系においては入力と出力のラプラス変 換の比で表され，室内伝達関数と呼ばれる。さ らに鼓膜に届く直前には，頭部や耳介の影響 によっても変形される。これは頭部伝達関数 (Head Related Transfer Function : HRTF) と呼ばれる。我々が開発した VAD は，PC 内で HRTF と音源データを畳み込むことによって任 意の位置にその音像を定位させることが可能で ある。 なお，本研究における VAD は，ヘッドフォン を用いている。その理由は，クロストークが発生 しないことである。ＨＲＴＦの個人差についても， 頭部運動に音場を感応させることでかなりの程 度軽減できる。 ３－２ HRTF の測定 HRTF は，頭部や耳介の形状で変化し，さら には，音の到来方向や距離によっても変化する。 したがって，個人差がある。近年，計算処理に よって近似的に HRTF を求める研究がなされ ているが，実用の域には達していない。そこで， 本研究では測定によってこれを求めている。 HRTF の測定は，東北大学電気通信研究 所の無響室に設置してある球状スピーカアレイ を用いてなされた。このスピーカアレイは，直径 およそ 3.5m のフレームにスピーカ(FOSTEX FE83)が，70 個取り付けられている。スピーカ 間の間隔は，水平垂直方向共に球の中心から みて 10°おき，球の中心から各スピーカの振 動板までの距離は 1.5m である。球はステッピン グモータによって水平方向に 5°ずつ回転させ ることができ，全部で 1255 方向の HRTF を測 定できる。 HRTF の被測定者は，頭部の中心が球状ス ピーカアレイの中心に位置するよう頭部を固定 されて着座する。被測定者の左右の外耳道入り 口 に は 超 小 型 マ イ ク ロ ホ ン (knowless FG3329)を取り付け，球状スピーカアレイ中の ひとつのスピーカから発せられたインパルス信 号 (Optimized Aoshima’s Time Stretched Pulse : OATSP[10])を両マイクロホンで収録し， AD 変換する。OATSP は，サンプリング周波数 が 48kHz，ポイント数は 8192 で，各方向につ いて 4 回ずつ同期加算を行い，最後に 128 ポ イントの矩形窓で切り出してインパルスレスポン スを求めた。これを 1255 方向で測定したものが ひとり分の HRTF データベースである。 なお，東北大学電気通信研究所には，成人 100 名分，小学生 30 名分の HRTF データベ ースが蓄積されており，本研究においてもその 中の一部を実際に利用している。 2.0 インタフェースを通じてオーディオインタフェ ース TASCAM 社 US-144MKII に送られ，DA 変換された後，ヘッドフォンに送られる仕組みと なっている。その他に，アプリケーションを操作 するためのゲームコントローラ ELECOM 社 JC-U912FBK が接続されている。 なお，音声データは，サンプリング周波数 48kHｚ，量子化ビット数 16bit で AD 変換され， PC 内での処理も全て同様の精度で行われて いる。 ３－３ 聴覚ディスプレイソフトウェアエンジ ン ”SiFASo” 本システムは，「訓練アプリケーション」と「マ ップエディタ」のふたつのアプリケーションソフト ウェアにより構成される。 訓練アプリケーションは，足音や舌打ち音と それらが壁や障害物などに反射して跳ね返っ てくる音を PC 内で生成し，ヘッドフォンを通じ て両耳に提示するものである。天井，床，前後 左右の壁からの一次反射音を，壁までの距離 や壁素材に応じて変化させることが可能である。 壁素材は，布製カーペット，コンクリート，ビニー ルタイル張り，ウッド，煉瓦，石膏，全反射，全 吸収など全部で 8 種類を模擬できる。 マップエディタ（図 2）は，GUI(Graphical User Interface)型の教材作成編集ソフトであ る。訓練指導者は，マップエディタを使って，廊 下や道路の形状，障害物の場所や大きさなど を自由に作成できる。その際，前述した 8 種類 の素材を指定したり，スタートやゴール，ランド マークになる音イベントなどをマップ上に配置し たりすることが可能である。 豊田らは，Windows が搭載された汎用 PC 上で稼働する聴覚ディスプレイソフトウェアエン ジン SiFASo(Simulative environment For Acoustic 3D Software)を開発した[11]。本ソ フトウェアは，HRTF の畳み込み処理を行うた めの FIR フィルタが主たる機能であるが，それ 以外にも，「移動音像の制御」「ドップラー効果」 「材質を考慮した床，壁，天井からの一次反射」 「距離減衰」などの機能を有しており，本研究に おいてもその一部の機能を利用している。 ３－４ システムのハードウェア構成 PC HRTFs Head tracker Audio interface Sound Source Headphones ３－５ ヒューマンエコーロケーション訓練 システム (1)システムの概要 Game controller 図 1 システムのハードウェア構成 PC は市販の Windows マシンである。今回 は，Mac Pro(CPU : 3GHz Quad-Core Xeon, Memory : 4GByte)に BootCamp を入れ，さら に Windows 7 をインストールして使用した。ヘ ッ ド フ ォ ン は ， audio-technica 社 の ATHAD400 を用い，そのヘッドバンド部には頭部運 動を検出するための無線型モーショントラッキン グセンサ Polhemus 社 LIBERTY LATUS， もし くは，有線型の NEC Tokin 社 MDPA3U9S を取り付けた。PC からの音声は，USB 図 2 マップエディタ (2)訓練可能な能力 本システムを用いて訓練可能と思われる能 力は以下の通りである。 ①障害物や壁までの距離を認識する能力 ②開口部の有無やその方向を知覚する能力 ③廊下や部屋などの広さを認識する能力 ④認知地図(mental map)を形成する能力 (3)操作方法 被訓練者は，ヘッドフォンを装着し，手には ゲームコントローラを持って，バーチャル空間内 を歩行する。ゲームコントローラの前進ボタンを 押すと 1 歩前に進み，同時に足音の直接音と 壁などから一次反射音が聞こえる。また，A ボタ ンを押すと舌打ち音を出すことができる。壁に 衝突すると衝突音が流され，同時にゲームコン トローラが振動する。したがって，被訓練者は壁 に衝突しないように歩行することと，反射音を聞 き分けて開口部や壁のない方向を探すことが 求められる。 訓練指導者は，図 3 のような実行画面を見な がら壁の有無や開口部の方向など，必要に応 じて指示をだすことにより訓練を行う。 図 3 訓練指導者用画面 ４．まとめと今後の予定 本研究では，視覚障害者の反響定位能力を 訓練するためのシステムを開発し，その一部が 完成したので報告した。 今後は後部残響音の追加，訓練効果の検証 実験，ならびに，効果的な訓練用教材の開発 を行う予定である。 謝辞 本研究の一部は科研費（20650146），東北 大学電気通信研究所共同プロジェクト，ならび に，経済産業省地域新生コンソーシアム研究 開発事業の助成を受けたものである。 参考文献 [1] W. N. Kellogg, "Sonar system of the blind," Science, 137, 399-404 (1962) [2] 関 喜一, 伊福部達, 田中良広, "盲人の 障害物知覚と反射音定位の関係", 音響会誌, 50, 4, 289-295 (1994) [3] D. Kish and H. Bleier, "ECHOLOCATION: What It Is, and How It Can Be Taught and Learned," CTEVH Conference (2000) [4]関喜一，佐藤哲司，“3D サウンドを用いた視 覚障害者用聴覚空間認知訓練システム（第３ 報）”，第 32 回感覚代行シンポジウム講演論文 集，1-4 (2006) [5] T. Munekata, Y. Suzuki, T. Uozumi, and S. Takuma, "An experimental study on the use of audio virtual reality technology for the education of children with special needs", International symposium on simulation, visualization and auralization for acoustic research and education, 397-400 (1997) [6] J. Sánchez and M. Lumbreras, "Virtual Environment Interaction through 3D Audio by Blind Children" , Medicine Meets Virtual Reality, 7(1999) [7] Y. Iwaya, Y. Suzuki, and S. Takane, "Effects of listener's head movement on the accuracy of sound localization in virtual environment," Proc. 17th International Congress on Acoustics, 997-1000 (2004) [8] 大内誠, 岩谷幸雄, 鈴木陽一, 棟方哲弥, "視覚障害児のための三次元音響ＶＲゲームの 試作," 日本バーチャルリアリティ学会, 79-82 (2003) [9] 大内誠, 岩谷幸雄, 鈴木陽一, 棟方哲弥, "三次元音響 VR エデュテイメントシステムによ る視覚障害者の空間認識能訓練効果," 情報 科学技術レターズ, 3, 283-284 (2004) [10] Y. Suzuki, F. Asano, H. Y. Kim and T.Sone, "An optimum computer-generated pulse signal suitable for measurement of very long impulse responses," J. Acoust. Soc. Am., 97(2) (1995) [11] 豊田将志, 岩谷幸雄, 鈴木陽一， "3 次 元音空間内におけるドップラー効果のリアルタ イムレンダリングに関する考察," 日本バーチャ ルリアリティ学会大会論文集, 457-460(2004)
© Copyright 2024 Paperzz
