広範囲電子的測位による３次元音響を用いた 視覚障害者の聴覚空間認知訓練の可能性（第６報） Possibility of auditory orientation training system for persons with visual impairment by using 3-D sound with wide-range electronic positioning – the 6th report. ○清野明日美 1，赤井澤博貴 1，小室和史 1，大内誠 1，岩谷幸雄 2，関喜一 3 Asumi SEINO1, Hiroki AKAIZAWA1, Kazufumi OMURO1, Makoto OH-UCHI1, Yukio IWAYA2, Yoshikazu SEKI3 1 東北福祉大学，2 東北学院大学，3 産業技術総合研究所 1Tohoku Fukushi University, 2Tohoku Gakuin University, 3National Institute of Advanced Industrial Science and Technology (AIST) . 要旨 著者らはこれまで，実空間と仮想音響空間を重ね合わせた AR(Augmented Reality)空間内を実際 に歩行することが可能な視覚障害者向けの歩行訓練システム WR-AOTS(Wide Range Auditory Orientation Training System)を開発してきた。WR-AOTS の β バージョンは 2010 年より配布が始まってい るが，モーションセンサ(MDP-A3U9S)が製造中止になってしまった点と，音声出力のために外付けの ASIO サウンドデバイスを必要する点がネックとなり，普及には至っていない。今回，モーションセンサを Wii リモコンプ ラスに切り替え，さらには，外付けのサウンドデバイスを用いなくても PC 内蔵のヘッドフォン端子から音声が出 力できるよう改良したことにより，上記の問題点がほぼ解決した。今回は，その報告をする。 Abstract The authors have developed the Auditory Orientation Training System for the visually impaired by using the wide range positioning 3-D sound technology. This system can lay a virtual sound field on a schoolyard that is wide enough to walk actually. The virtual sound field is superimposed on the real field, namely, this is a kind of the Augmented Reality. The beta version of this system has been distributed free of charge since 2010. This version, however, has not yet spread because the manufacturing of the wired motion sensor (MDP-A3U9S) had been discontinued and because the external ASIO sound device is required for listening through headphones. In this report, in order to solve these two problems, the authors changed the wired sensor to Nintendo Wii-Remote and made internal headphone terminal available without external sound device. １．はじめに 全盲や強度の弱視など，視覚に重度の障害 を持つ人々は，視覚の代替感覚となる聴覚や 触覚などからさまざまな情報を得て日々暮らし ている。とりわけ聴覚から得られる情報は重要 である。たとえば，話し相手やテレビ・ラジオから 流れる音声は主に言語的な情報をもたらす。ま た，車やバイク，店舗などから発せられる音声 は，今自分がどこにいるのか，どんな環境にい るのかなどを知る極めて重要な手がかりとなる。 そのため視覚支援学校（盲学校）や視覚障 害リハビリテーション支援施設などにおいては， 聴覚を用いた ADL(Activities of Daily Living)訓練や歩行訓練が行われている。中でも 歩行訓練は重要で，視覚障害生活訓練等指導 者（以下，歩行訓練士）によって数ヶ月から数年 の歳月をかけて行われる。なぜならば視覚障害 者は，安全に確実に屋外を歩行できるにように なって始めて基本的な社会生活を営めるように なるからである。また，職業にも就きやすくなり， 生活の糧を自ら獲得して，社会に貢献できるよ うになるため生き甲斐の創出にもつながる。 しかし，歩行訓練士は，全国でわずか 500 名 ほどしかいない。歩行訓練を必要とする視覚障 害者数は 20 万人を超えていると言われており， 歩行訓練士の数が圧倒的に不足していること は明らかである。さらに近年，40 歳を超えてから 緑内障や糖尿病網膜症等で中途失明する患 者が増加していることから，ますます歩行訓練 の需要が高まっている。 ところで，歩行訓練には多くの時間が費やさ れる。安全を確保しながら訓練を行う必要があ るためマンツーマンで実施されることが多く，効 率を上げることも困難である。そのため新たな 訓練技法の提案も行われている。 関らは，３次元音響バーチャルリアリティ (Virtual Reality : VR)の技術を応用し，仮想 空間の中で安全にしかも効率的に歩行訓練が できる聴覚空間認知訓練システム(Auditory Orientation Training System : AOTS)（図 1 の左図）の開発を行い，あわせて，訓練技法も 提案した[1]。このシステムは，Roland 社の立 体音響プロセッサ RSS-10 と Polhemus 社の磁 場式モーションセンサ，ならびにヘッドフォンを 組み合わせて構築された。そのため非常に大 がかりな装置となっており，装置から離れて実 際に歩行することはできないが，その場で足踏 みすることによって，仮想音響空間内を移動す ることは可能である。この場合，実際の歩行時 には必ず知覚する運動感覚や体勢感覚，距離 感など，歩行の訓練には不可欠な感覚情報が ほとんど感じられないため，改善の余地があっ た。 図 1 聴覚空間認知訓練システム（左図： 2007 年以前のもの[1]，右図：2010 年段階もの [2]） 次に，関らは，前述の訓練システムを改良し た広範囲聴覚空間認知訓練システム (Wide Range Auditory Orientation Training System : WR-AOTS)を開発し，そのβバージョン を無料で公開した（図 1 の右図）[2]。このシステ ムは構成する全ての装置を小型で軽量のもの に変更したため，使用者自身が持ち歩くことが 可能となった。また，実空間と仮想音響空間を 重ね合わせた AR(Augmented Reality)空間 内を実際に歩行することが可能になったため， 視覚支援学校の校庭に仮想の街並みを出現さ せたり，車やバイクを走らせたりすることが可能 となった。これにより，訓練を受ける者は，実際 に路上で歩行訓練する前に，AR 空間内で安 全に，大きなストレスを感じることなく繰り返し歩 行訓練することが可能となった。 ところで，WR-AOTS に使われている３次元 モーションセンサ（NEC Tokin 社 MDP-A3U9 S）はすでに生産中止となってしまった。そこで， 前回（第５報）は，代替センサ候補の客観的評 価を行い，任天堂社の Wii リモコン，もしくは， Apple 社の iPod Touch(4G)が最適であると報 告した[3]。中でも Wii リモコンは，安価で，制御 するためのミドルウェアも無料で公開されている ため導入しやすい。 そこで，今回は，WR-AOTS に Wii リモコン を実装し，簡単な評価実験を行ったので報告 する。また，これまでのものは PC に外付けのオ ーディオデバイスを装着する必要があったが， PC 内蔵のヘッドフォン端子から直接音を出せ るように改良したので合わせて報告する。 ２．Wii リモコンの概要 Wii は 2006 年に任天堂社から発売された家 庭用ゲーム機である。従来の家庭用ゲーム機 は，両手で持ったゲームコントローラ（ゲームパ ッド）のボタンやジョイスティックを操作すること によってプレイするのが一般的であった。これ に対して Wii は，Wii リモコンと呼ばれる片手で 操作可能なコントローラが付属されている。Wii リモコンが画期的なのは，ブルートゥース通信に よって無線化されている点，内部に加速度を感 知するモーションセンサが搭載されており利用 者の腕や身体の動きをゲームに反映させること が可能になった点，赤外線の光源位置を測定 できる点，などが挙げられる。これにより剣で敵 を倒すゲームやスポーツ系ゲームなど，実際に 腕や身体を動かすようなゲームコンテンツの開 発が可能となった。なお，2010 年に新たに発 売された「Wii リモコンプラス」には 3 軸加速度 センサの他に，Yow 角・Roll 角・Pitch 角を取 得できるジャイロセンサも搭載された。Wii リモコ ンプラスの仕様は表 1 の通りである。 表 1 Wii リモコンプラス(型番 RVL-036)の仕様 価格 通信機能 表面ボタン 裏面ボタン 3 軸加速度セン サ 3 軸ジャイロセ ンサ（低速モー ド） 3 軸ジャイロセ ンサ（高速モー ド） その他の機能 バージョンの相 違 3,800 円（税込み） Bluetooth による無線通信 「Wii 本体電源」，「十字キー」，「A」，「-」， 「Home」，「+」，「1」，「2」ボタン 「B」ボタン，「Bluetooth 接続」ボタン 約-5G～+5G(9.8m/s2)までの加速度を各 軸 8bit の分解能で測定。重力加速度を 利用することにより傾きも検出可能 約-400～+400deg/s の角速度を各軸 14bit の分解能で測定 約-2000～+2000deg/s の角速度を各軸 14bit の分解能で測定 赤外線測定ポインタ，モノラルスピーカ， バイブレータ，青色 LED4 個など 最初に登場した Wii リモコン(型番 RVL-0 03)にはジャイロセンサが内蔵されておら ず，別売の Wii モーションプラスを接続す ることにより現在の Wii リモコンプラス(型 番 RVL-036)と同等の性能にできる。 ３．Wii リモコンを Windows 上で利用 するためのミドルウェア Wii リモコンを Windows 上で動かすために はアプリケーションソフトを開発する必要がある が，ハードウェアを直接制御するプログラムの開 発は容易ではない。そのため，アプリケーション 開発を支援するためのミドルウェアがいくつか 開発され，無料で公開されている[3]。代表的な ものは「WiimoteLib」と「WiiYourself!」である。 WiimoteLib は B.Peek によって開発された[4]. 最新のバージョンは 1.7 であるが，残念ながら Wii リモコンプラスには対応していない。マイク ロソフト社の.NET フレームワークを用いられて 開発されているため Visual Basic や C#言語と の親和性が高い。なお，Wii リモコンプラスにも 対応したベータバージョン(1.8β)も公開されて いるが，バグのためやや不安定との報告もある [5]。一方，WiiYourself!は gl.tter によって開 発された[6]。ネイティブ C++言語に対応してい るため高速な処理を必要とするアプリケーション の開発に適している。最新バージョンは 1.15 で， Wii リモコンに Wii モーションプラスを接続した ものには対応しているが，最新の Wii リモコンプ ラスで使用する場合は手直しが必要になる。本 研究においては，WR-AOTS が元々ネイティブ C++で開発されたため，WiiYourself!を採用す ることにした。 ４．Wii リモコンプラスによるバーチャ ル聴覚ディスプレイの実装 ４－１ バーチャル聴覚ディスプレイの原理 バーチャル聴覚ディスプレイ(Virtual Auditory Display : VAD)は，任意の位置に音像を 定位させることが可能な装置である。一般に音 波は，音源から発せられた後，壁や障害物など に反射したり回折したりして変形される。これを 制御系においては入力と出力のラプラス変換 の比で表され，室内伝達関数と呼ばれる。さら に鼓膜に届く直前には，頭部や耳介の影響に よっても変形される。これは頭部伝達関数 (Head Related Transfer Function : HRTF) と呼ばれ，頭部中心から音源までの角度と距離 の関数となっている。本研究における HRTF デ ータは，距離が 1.5m，水平方向は 5°おき，垂 直報告は 10°おきの全 1255 方向について， 実際に人間の頭部と両耳の耳介を用いて測定 されたものである。音像を特定の位置に定位さ せたいときは，その方向の左右二つの HRTF データを音源データに別々に畳み込み，ステレ オヘッドフォンなどで提示する。なお，距離は音 圧を変化させることで表現している。 ４－２ 頭部運動感応型 VAD の概要 本研究における VAD は，ヘッドフォンを用い て音声を提示する。その理由は，クロストークが 発生しないからである。しかし，ヘッドフォン受 聴の場合，頭部を回転させると，音像も追随し て回転してしまう。これは，例えてみれば，頭部 を回転させたときに，現実の世界も回転してい るのに等しい。 そこで，本研究においては，Wii リモコンプラ スをヘッドフォンのヘッドバンド部に装着し，頭 部の回転運動を検出した際には瞬時に HRTF を切り替えて音像の絶対的位置が変化しないよ うにした（図 2）。なお，頭部運動感応型にしたこ とにより HRTF の個人差についても，かなりの 程度軽減できるようになり定位精度の向上も見 込まれる。 図 2 Wii リモコンプラスを装着したヘッドフォン ４－３ Wii リモコンプラスを用いた頭部運動感 応型 VAD の開発 開発環境は表 2 の通りである。 表 2 頭部運動感応型 VAD の開発環境 対象 OS 統合開発環境 プログラミング言語 聴覚ディスプレイエンジンソフ トウェア（ミドルウェア） 音声出力用ミドルウェア Wii リモコン制御用ミドルウェア モーションセンサ ヘッドフォン ブルートゥース USB アダプタ ブルートゥース接続ソフト WindowsXP,Vista,7,8 Visual Studio 2008 Visual C++ SiFASo(Simulative environment For Acoustic 3D Software)[7] Microsoft Direct Sound WiiYourself! Wii リモコンプラス ゼンハイザーPXC 360 BT (ブルートゥース無線接続) PLANEX BT-MicroEDR2X 東芝ブルートゥーススタック ソフト Ver.8 処理手順は以下の通りである。 ①Wii リモコンプラスに内蔵された 3 軸ジャイロ センサから頭部の回転角速度（deg/s）を取得す る。 ②角速度を角度に変換するため，角速度を時 間積分する。数値積分のアルゴリズムは，以下 の台形則を用いた。その理由は，アルゴリズム が簡便で計算コストが低い割に誤差が少ない ためである。 𝑏 ∫ 𝑓(𝑥)𝑑𝑡 ≈ (𝑏 − 𝑎) a 𝑓(𝑎) + 𝑓(𝑏) 2 ③得られた角度を聴覚ディスプレイエンジンソ フトウェア SiFASo に引き渡す。SiFASo の内部 では引き渡された頭部回転角度を元に HRTF を選択し音源データに畳み込む。 ４－５ 内蔵サウンドデバイス対応への改良 SiFASo が開発された 2004 年当時，開発に 用いられた PC に搭載されている CPU は Pentium4(3.2GHz)で，畳み込みに要する時 間遅延や USB 経由の 3 次元モーションセンサ の遅延時間などをトータルすると，音声出力要 求から実際に音が出力され るまで の時間は 32.4ms であった。その大半が ASIO(Audio Stream In/Out)対応のオーディオデバイス処 理に要する時間であった。しかし，近年，PC の 高性能化に伴って非 ASIO 対応の内蔵サウン ドデバイスでも大きな遅延が発生しないことが 予想されたため，その改良を行った。 ４－５ 遅延時間の計測実験 改良後のシステムの評価を行うため，遅延時 間に関する簡単な実験を行った。WR-AOTS は，「センサ入力」「画像処理」「ディジタル信号 処理」を繰り返しているため，その一連の処理 時間を計測した。その結果，出力されている音 源データが 1 つ場合でも 9 つの場合でも処理 時間は約 31ms であった。Direct Sound の場 合，出力を指示してから PC のヘッドフォン端子 より音が出力されるまでのおおよその時間は 50ms 程度あるので，合計すると 80ms 程度の 遅延が発生している可能性があり，精査する必 要がある。 ５．まとめと今後の予定 WR-AOTS のβバージョンは 2010 年より配 布が始まっているが，センサ(MDP-A3U9S)が 製造中止になってしまった点と，音声出力のた めに外付けの ASIO サウンドデバイスを必要す る点がネックとなり，普及には至っていない。今 回，モーションセンサを安価な Wii リモコンプラ スに切り替え，さらには，外付けのサウンドデバ イスを用いなくても PC 内蔵のヘッドフォン端子 から音声が出力できるよう改良したことにより， 上記の問題点がほぼ解決した。 今後は，Direct Sound の遅延時間を精査し， 必 要 が あ れ ば WASAPI(Windows Audio Session API)に変更することにより遅延時間の 短縮を図りたい。また，GPS による測位機能と Wii リモコンの加速度情報を連携させた測位シ ステムを完成させ，近日中に WR-AOTS の正 式バージョンをリリースしたい。 謝辞 本研究の一部は科研費（20650146），東北 大学電気通信研究所共同プロジェクト，ならび に，経済産業省地域新生コンソーシアム研究 開発事業の助成を受けたものである。 参考文献 [1] Y. Seki, T. Sato, ”A Training System of Orientation and Mobility for Blind People Using Acoustic Virtual Reality,” IEEE Trans. Neural Syst. Rehabil. Eng., 19(1), (2011) [2] 関喜一, 岩谷幸雄, 大内誠, 矢入聡, 大 谷真, 棟方哲弥, 水戸部一孝, 本多明生, 稲 永潔文, ”広範囲電子的測位による 3 次元音響 を用いた視覚障害者の聴覚空間認知訓練の可 能性（第４報）-β 版配布開始-,” 第 36 回感覚 代行シンポジウム予稿集, (2010) [3] 白井暁彦，小坂崇之，くるくる研究室，木村 秀敬，"WiiRemote プログラミング", (2009) [4] B. Peek, ”http://www.brianpeek.com/", (2009) [5] B. Peek, "http://wiimotelib.codeplex.c om/releases/view/30401", (2009) [6] gl.tter, "http://wiiyourself.gl.tter.org/", (2010) [7] 豊田将志, 岩谷幸雄, 鈴木陽一， "3 次元 音空間内におけるドップラー効果のリアルタイ ムレンダリングに関する考察," 日本バーチャル リアリティ学会大会論文集, (2004)
© Copyright 2024 Paperzz
