言語障害者を対象とした図形シンボルによる対話システムの基礎検討 ‐Swing による GUI アプリケーションの作成‐ 信州大学 工学部 情報工学科 津田 明宏 １．はじめに 通常の会話によるコミュニケーションが困 難な言語障害者を対象に、「PICOT」と称する 会話エイドシステムがあり、養護学校等にお ける実証実験により、その有効性が検証され ている。我々のグループでは、この会話エイ ドの機能をインターネット上で実現した 「PICOT on Web」 を開発している[1]。 これらの PICOT システムは、パソコンの画 面上に、日常生活で使用する基本的なメッセ ージに対応する図形シンボルを表示し、簡単 なマウス操作により、自然な音声メッセージ を出力するものである。この PICOT は、基本 的にシステムを操作する障害者と、その近傍 にいる健常者の間のコミュニケーションを補 助するものであり、例えば遠隔地の障害者同 志が対話する機能はない。 そこで今回、PICOT の基本機能を継承し、 インターネットを用いて遠隔地の障害者が、 図形シンボルを用いたコミュニケーションを 行うことができる対話システムを開発するこ とにした。 ２．基本原理 今回開発した対話システムを図 1 に示す。 サーバを介して複数のクライアントの間で、 図形シンボルと音声メッセージを交換するこ とができる。開発には Java 言語、通信には インターネットの TCP/IP(Socket)を使用し ており、基本的にプラットフォームには依存 しないシステム構成となっている。 図１ 図形シンボルを用いた対話システム ３．システム構成 ３．１ Java と Swing コンポーネント 今回開発したシステムには、Java 言語 と Swing コンポーネントを使用した[2]。本 システムでは、クライアント側に図形シン ボルや音声メッセージ等のデータファイル を保存する必要があり、Java Applet は使 用せず、通常の Java アプリケーションと した。Java を用いた主な理由は以下の通 りである。 (1) プラットフォームに依存しない GUI ア プリケーションが構築できる。 (2) ソケットを用いた通信に対応している。 (3) マルチスレッドプログラミングが可能。 なお、クライアント側の GUI 作成には Swing コンポーネントを使用した。この Swing を使用することによりプラットフォ ームに依存しないルックアンドフィールの GUI を作成することができた。 ３．２ 基本構成 アプリケーション本体やユーザデータは クライアント上にあり、サーバ上にデータ 等は保存しない。音声の出力には au ファ イルを、図形シンボルには gif イメージを 使用している。 ３．３ サーバ サーバでは以下の動作をマルチスレッド によって実現している。ここで、「メッセ ージ ID」とは伝えたいメッセージを表す gif イメージのファイル名(例:c001.gif) である。 (1)クライアントからの接続を待つ。 (2)クライアントから接続があったらソケ ットを作成し通信可能な状態にする。 (3)クライアントからメッセージ ID と送信 先のホスト名（又は IP アドレス）を 受信する。 (4)指定された送信先へメッセージ ID を送 信する。 ３．４ クライアント 図２にクライアント側における基本的な動 作を示す。 図３ クライアント側の画面構成 ４．まとめ 図２ クライアントの基本動作 クライアント側の画面構成を図３に示す。 各エリアで行う送信処理と受信処理は、以下 の通りである。 (1)図形シンボル選択エリア このエリアでは、伝送したいシンボルを選 択する。シンボルにマウスカーソルを合わ せると対応する文字メッセージが、ツール チップによって表示される。シンボルの配 置はドラッグアンドドロップによって自由 に変更できる。 (2)送信先ホスト選択及び音声出力・送信の 実行エリア このエリアでは、アイコンで表された送信 先ホストを選択する（複数可）。実行ボタ ンを押すことによって(1)で選択されてい るシンボルに対応する音声を、ユーザのマ シン上で出力する。それと同時にメッセー ジ ID をサーバに送信する。また、サーバ との接続・切断を実行する。 (3)メッセージ受信エリア このエリアでは、他クライアントからのメ ッセージを一定秒ごとに受信する。このエ リアはサーバに接続しているときのみ動作 する。サーバからメッセージ ID を受信し たら、自動的に図形シンボル・送信元ホス トのアイコンを表示し、シンボルに対応す る音声・文字メッセージを出力する。 Java 言語と Swing コンポーネントにより、 図形シンボルを用いた対話システムを開発し た。LAN 環境のサーバ・クライアント間でメ ッセージデータの通信を行い、図形シンボル と音声メッセージによる対話が可能であるこ とを実証した。また、ネットワークに接続し ない場合でも音声メッセージを出力し、会話 エイドシステムとしての基本的な役割も果た すことを確認した。 今後の課題は以下の通りである。 (1)システム全体の操作性、安定性の向上 (2)シンボルエリアの機能の充実 シンボルの配置のカスタマイズ機能を実 現する。さらに､異なる音声メッセージ を連続して出力させ、一つの簡単な文と して伝えることのできる機能を実現する。 (3)送信先ホストデータを更新・変更する機 能の追加 (4)サーバ側でクライアントのアカウントを 認証する機能の追加 (5)外国語音声メッセージの登録 出力する音声ファイルに外国語を用いる ことにより、異国語による対話機能を実 現する。 参考文献 ［1］伏木、羽生田他：｢WWW を用いた図形シンボル会 話エイドの開発（1）｣平成１４年度電子情報通信 学会信越支部大会講演論文集 pp.325-326 ［2］大村忠史 著：Java GUI プログラミングⅠ・Ⅱ カットシステム
© Copyright 2024 Paperzz
