公立はこだて未来大学 2012 年度 システム情報科学実習 グループ報告書 Future University Hakodate 2012 System Information Science Practice Group Report プロジェクト名 マインドコミュニケーション Project Name Mind Communication グループ名 グループ C Group Name Group C プロジェクト番号/Project No. 07-C プロジェクトリーダ/Project Leader 1010014 常磐井武彦 Tatsuhiko Tokiwai グループリーダ/Group Leader 石川良 1010231 Ryo Ishikawa グループメンバ/Group Member 1010170 上原隆矢 Ryuya Uehara 1010196 神田有希 Yuki Kanda 1010231 石川良 1010237 澤田一輝 Kazuki Sawada 1010245 久守玄永 Motonaga Hisamori Ryo Ishikawa 指導教員 佐藤直行 岡本誠 伊藤精英 中田隆行 花田光彦 Advisor Naoyuki Sato Makoto Okamoto Kiyohide Ito Takayuki Nakata Mitsuhiko Hanada 提出日 2013 年 1 月 16 日 Date of Submission January 16, 2013 概要 本プロジェクト は脳波の仕組みを学び, それをコミュニケーションの手段として伝えるマイン ドコミュニケーションを利用し, 新しいコミュニケーションツールを提案することを目的とし ている. マインドコミュニケーションと似た言葉に, 『ニューロコミュニケーション』という 言葉がある. これは, 脳波を使って気持ちを伝える (意思伝達を実現する) ものである. このプ ロジェクトが, 『ニューロ』ではなく, 『マインド』という言葉を選んでいる理由は, 脳波の以 外にも心拍などのあらゆる生体情報を包含していることを表すためである. すなわち, マイン ドコミュニケーションとは, 身体の内部にある様々な情報を使って意思伝達をするものである. マインドコミュニケーションを実現するためには, 生体情報を何らかの方法でコンピュータに 伝え, それを操作する必要がある. これは, フィジカルコンピューティングという技術で解決す ることができる. フィジカルコンピューティングとは, センサーなどの入出力デバイスを用い ることによって, 身体の様々な情報をコンピュータと意思疎通するものである. これは, デバイ スで取得した生体情報などの数値データをコンピュータに伝えたり, コンピュータ側の反応を 音や光, 振動などで人間の五感に訴えることで実現することができる. 前期では先行事例調査と脳波実験を行い, 脳波についての知識を深めた. 実験のデータを解析す るための技術習得も行った. 提案をする際にはブレイングストーミングを繰り返し, 非対面で のコミュニケ ーションに着目し, 『自分をさらけだす』をコンセプトとして製作を行った. 中 間発表ではグループで提案された『Natural』のプロトタイプの製作を行った. 『Natural』と は, 脳波のシンクロによって, デバイスを通して相手の体温を伝えるツールである. 中間発表で のプロトタイプは, 集中するとデバイスが熱を発するというものを製作した. 後期では中間発 表で得たフィードバックを基に製作を行った. 『脳波を用いて豊かなコミュニケーションへ』 というコンセプトに変更し『Step Up』というデバイスへと改名もした. 『Step up』とは, 自 分が集中することで相手が持っているデバイスが光り音が鳴るというツールである. 私たちは 脳波を用いてコミュニケーションの質を上げるというデバイスを作成した. キーワード 脳波,コミュニケーション,五感 (※文責: 澤田一輝) -i- Abstract A purpose of this project is to learn brain waves. We suggest a new communication tool with brain waves. It is Neuro Communication. This is acommunication that use the electroencephalogram(EEG). The reason why we use the word ”mind” instead of ”neuro” is to show that we also use the different biological information. Therefore, the Mind Communication is comunication that use internal information of our body. We have to transfer our biological information to computer to make the Mind Communication come true. The physical computing is useful for the Mind Communication. This is a communication between fuman and computer. It uses IO devices or sensors. By sending our biological information to the computer or expressing computer’s returns to our five senses, the physical computing will work. We carried out an electroencephalographic experiment with a precedent example investigation in the first half year and deepened the knowledge about brain waves. And we learned it technically to analyze the data of the experiment. When we suggested it, we repeated blurring Inge storming. We paid attention to the communication of the non-meeting. And we produced it as a concept to ”begin to reveal oneself”. We produced the prototype of ”Natural” in middle announcement. When brain waves synchronize with ”Natural”, it become warm. The device can feel the temperature of the partner. We produced prototype in the middle announcement. When it centers, a device emits heat. We produced it based on the feedback that we got in middle announcement in the latter period. We switched to a concept to ”the communication that was rich using brain waves”. Called ”Step up” changed its name to a device. if you concentrate on it, ”Step up” shine and a sound sounds. We made a device to raise quality of the communication using brain waves. Keyword Commnication,Brain Wave,Five Senses (※文責: 澤田一輝) - ii - 目次 第1章 はじめに 1 1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 本プロジェクトにおける目的 4 第2章 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 到達目標課題 5 課題設定までのアプローチ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.1 先行事例調査 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.2 先行事例における問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 目標課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 課題解決へのプロセス 9 3.1 脳波に関する基礎学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2 脳波実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2.1 脳波実験での役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.2 被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.3 日時と場所 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.4 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.5 解析班としての役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.2.6 解析結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 制作物のプラン作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3.1 ブレインストーミング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3.2 KJ 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3.3 コンセプトシート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 デバイスの習得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.1 習得技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.2 Arduino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.3 Gainer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.4.4 Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.4.5 Xbee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.6 習得成果物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 習得成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 中間成果 31 4.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.2 課題解決 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.3 コンセプト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.1 2.2 第3章 3.3 3.4 3.5 第4章 4.3.1 4.4 発表技術についての評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 製作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 - iii - 4.5 デザイン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.6 システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.6.1 導入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.6.2 プロセス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.6.3 基盤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.7 仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.8 ユーザシナリオ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.8.1 相談 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.8.2 ビジネス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.9 発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.10 評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.10.1 発表技術についての評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.10.2 発表内容についての評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 制作物の詳細 39 5.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.2 問題提起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.3 問題解決 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.4 コンセプト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5.5 デザイン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5.6 システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.6.1 導入 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.6.2 プロセス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.6.3 通信部分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.6.4 Step Up システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.7 仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.8 ユーザシナリオ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.8.1 相談 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.8.2 プレゼンテーション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.8.3 勉強 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.11 第5章 第6章 6.1 最終発表 評価結果(最終) 49 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 6.1.1 プレゼンテーション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 6.1.2 製作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 6.2 フィードバック . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 6.3 リフレクション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 第7章 今後の課題と展望 52 7.1 製作物に関連して . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 7.2 全体の展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 付録 55 付録 A - iv - 参考文献 59 -v- Mind Communication 第1章 1.1 はじめに 背景 人間など,生物には脳神経細胞や体を動かす筋肉が活動するとき,いろいろなイオンが移動して 電流が流れる.そのことを生体信号といい,心拍,発汗,筋電,脳波などが上げられる. 心拍 [1][2] とは,心臓の収縮によって血液が送り出されるときの拍動をいう.一般に心拍は子供 で多く,高齢者は少ないとされており,成人では 1 分間におよそ 60 回∼80 回の心拍である.心 拍の値やリズムは,健康状態をチェックする際の指標のひとつである.心拍は心拍計を使用して計 り,主に胸部に取り付けるセンサーと表示・記憶装置から構成されている.機構としては,電極で 心電図を測定し,その変化から心拍を検出し,心拍と心拍との間隔から,心拍数 (=一分当たりの 心拍の数) を得,表示させる.表示装置のボタンを押すことで,消え億をし,一定の時間内の平均 心拍数,最大心拍数を表示したり,年齢によって決まる最大心拍数と安静心拍数との差に対する比 率を計算して,運動の強度を示したりできるものが多い.上位機種には,赤外線通信などによっ て,パソコンにデータを転送できるものもある. 図 1.1 心拍計 発汗 [3] とは,汗を分泌することであり,哺乳類が皮膚の汗腺から分泌する液体である.人間に おいては,汗は主として体温調整の手段である.発汗装置は発汗の量を調べるものであって人に よって差が生じる. 筋電 [4] とは,筋肉を動かす指令が脳から伝わる時に発生する神経電位を受けて筋肉内で発生 する活性電位である.細胞単位で見てみると,細胞内と細胞外には静止状態で数 10mV の電位を 保っており,ここに筋肉を動かす信号が流れると細胞内と細胞外でイオンの交換を行うことによっ て電位が生じるのである. Group Report of 2012 SISP -1- Group Number 07-C Mind Communication 図 1.2 筋電 脳波 [5] とは,人・動物の脳から生じる電気活動を,頭皮上,蝶形骨底,鼓膜,脳表,脳深部な どに置いた電極で記録したものである.実名は脳波図だが,一般的には『脳波』と簡略化して呼ば れている. これまでの心拍や筋電などの生体信号は嘘発見器や義手などに用いられている.嘘発見器は生体 信号を色々使用しており,血圧や新派クスの変化を読み取るものや,脳波や声門を計測するもの など様々な種類がある.また義手も,筋電を使用しており生体信号を使った物は多種多様と存在 する. しかし, 脳波においてはあまり着目されていなかった. 最近では, 脳波の工学応用が注目されて おり, 脳波マウス (図 1.3) や necomimi(図 1.4)[6] などの乾式脳波センサが販売されている. 脳波マウスとは, 手を使わずに脳波でマウスやキー操作を行うことができる入力デバイスである. 額から生体電気信号を読み取り, それをデジタル化, キー/マウス入力として使うというもの. 主に ゲームなどが想定されており, 例えば, FPS(First Person Shooting) ゲームの移動や射撃を脳波で, 方向変更などをマウスで行う設定などがプリセットで用意されている. 実際に使用するには, ヘッ ドバンドを装着し, キャリブレーションソフトを用いてユーザーの脳波を登録を行う. その後プロ ファイルを選択し, ゲームなどで使えるようになる. また, 登録できるのはあくまでも, キー/マウ ス入力なので、ゲーム以外での利用も考えられる. そして乾式脳波センサの中でも, 脳波マウスは販売された即日に完売しているほどの人気デバイ スが necomimi である. 海外では大絶賛されているほど注目されている. necomimi は, 気持ちを伝 える『ネコミミ型コミュニケーションツール』である. 形はカチューシャタイプの被り物である. そのままコスプレグッズとしても使えるが, necomimi の最大の特徴は, 装着した人の脳波に反応し て耳が動くことである. 本体左側に電源ボタン部がついてあり, この部分に脳波センサーとイヤー クリップというものが付いている. これらを額と耳たぶに装着することで脳波が検知されるという 仕組みである. 主な動作モードは, 『ノーマル』 『ゾーン』 『集中』 『リラックス』の 4 つに分かれて おり, 各モードによって動き方も異なってくる. 具体的には, 脳波が集中すると集中モードになり、 耳がピンと立つようになる. リラックスした状態になるとリラックスモードになり、耳がくたりと Group Report of 2012 SISP -2- Group Number 07-C Mind Communication なってしまう. 集中とリラックスが同時に高まったゾーンモードでは耳が交互に動くといった仕組 みになっている. マインドコミュニケーションとはこれらの脳波という生態信号を用いることで気持ちを伝え合う ことができる, 新たなコミュニケーションである. 現代のコミュニケーションでは, コミュニケー ションの技術や要領などの手段が重視されており, 目的や得られる結果については評価されにくく なっている. これは, 情報化社会によってコミュニケーションの手段が高速化しているためである. コミュニケーションの手段が高速化された手段により, コミュニケーションの本質が薄れている. この問題を解決するためにも, 脳波を用いた新たなコミュニケーションツールを取り入れることで, 現代の情報化社会におけるコミュニケーション不足という問題を解消できると考えた. 脳波センサを用いることで自分の気持ちを伝えやすくなり, コミュニケーションを取りやすくな る. 現代社会の問題点に近年で注目されている脳波を用いることで, 多くの人々から興味をひき, こ れからの社会に役に立つ新しいコミュニケーションツールの提案を行う. 図 1.3 脳波マウス 図 1.4 necomimi[1] Group Report of 2012 SISP -3- Group Number 07-C Mind Communication (※文責: 澤田一輝) 1.2 本プロジェクトにおける目的 本プロジェクトは, 脳波という生体信号を用いることで気持ちの通じ合いををサポートするシス テムを提案・作成する. 新しいコミュニケーションツールを利用することによって自分の新しい一 面を引き出しコミュニケーションを取ることを目標とする. また, 新しいツールを作る過程での技 術習得も目的とする. ブレイングストーミングといった話し合いの場ではグループワークの方法を 学ぶ. これはルールを守り積極性, 協調性を持ち意見を出していく必要性がある. 脳波を測定する 実験では, 測定のプロセスと解析, 脳波についての理解を深めることができる, . プロトタイプなど システムを製作する際には, 実際に作動させるためプログラミング技術, 様々なセンサを取り付け るための実装のプロセスの技術を習得する. 私たちのグループでは, 最初に『非対面でのコミュニケーション』というものに着目した. 非対 面で行うコミュニケーションは, 対面時に比べて相手に伝わる情報量が少ないと考えた. その少な い情報量を補えるようなものはできないかと考える. そしてその次に, 『自分が本当に伝えたいことを伝える』というものに着目した. 本当に伝えた いことが伝わるのならば, コミュニケーションの質はより良いものになるのではないかと考えた. (※文責: 澤田一輝) Group Report of 2012 SISP -4- Group Number 07-C Mind Communication 第2章 2.1 到達目標課題 課題設定までのアプローチ 課題解決を行うために, 私たちは『マインドコミュニケーション』のプロジェクトリーダーとサ ブリーダーを決定した. これはプロジェクト内の統制, そして作業の効率化を図るためである. そ して A, B, C の 3 つのグループに各 5 人ずつに分かれ, さらにそこからグループリーダーを決定し ていった. そこから役割分担を行い各々に仕事を決めていった. 仕事は主に外装, プログラミング, ポスターといったものであった. 『マインドコミュニケーション』とは生体信号, 主に脳波を利用したコミュニケーションツールの 製作を行うので, 先行事例調査を行う必要があった. A, B, C の各グループで調査を行い, プレゼ ンテーションを行った. そこから気づいた点をまとめ, 脳波でどのようなことができるのかを話し 合った. これを基に私たちは製作物案に役立てようとした. これまでの先行事例調査で脳波はどのような利用の方法があるかということについて理解を深め た. しかし, 脳波自体についての知識がなかったため, 脳波についての知識を得る必要があった. そ こで, プロジェクト内で佐藤直行先生に講義を行ってもい, 脳波の基本的な知識について学習した. さらに実際に脳波の実験を行うことでより脳波に関する知識を深めた. 実験では解析班と実験班に 分かれ, 作業を進めていった. 実験班では実際に被験者となって様々な条件下で脳波の出方を調べ た. 解析班は実験班から得たデータで解析を行い, 脳波の変化を測定した. さらに解析班はデータ 解析を行うための知識も得ることになった. そしてその実験結果をプロジェクト内でプレゼンテー ションをしていった. どのような成果物を製作するかということにあたって, 各グループ毎で KJ 法やブレインストー ミングを行い, コンセプトを固めていった. 進捗確認を毎回行うことで, 意見や評価をもらい, コン セプトを決定していった. そしてそれを基に中間発表まで『自分をさらけだす』というコンセプト で, 成果物『Natural』を製作していった. 製作は, arduino 言語やはんだづけの知識や技術が必要 となった. 本やインターネットを利用することで各々知識を深めて作業を行っていった. 中間発表では, スライドは使わずにポスターセッションで発表を行うことにした. これは, 各グ ループの成果物をよく見てもらうことができ, 脳波についての全体発表も行うため, ポスターセッ ションが最良の方法と考えたためである. 同じ発表を何度も繰り返し, 質疑応答の場面も多いので プレゼンテーション能力は向上されたと考えられる. 中間発表までは脳波のシンクロによって相手 の体温をデバイスを通して伝えるツールであった. 脳波という自分ではコントロールできない情報 を用いることで, 自分自身を隠さずに伝えることのできる新しいコミュニケーションを行うという コンセプトで発表を行った. 後期では中間発表でのフィードバックを用いて, 今後の目標を定めていった. 中間発表の際に 『知られたくないときはどうするか』, 『プライバシーはどうなっているのか』等の意見を多く頂い た. そのためもう一度コンセプトを見直し, 新たに『脳波を用いて豊かなコミュニケーションへ』 というコンセプトに決定した. 成果物の名前も『Step up』というものにした. 『Step up』とは, 自 分の脳波の状態の一部を相手に知らせ, 自分の集中の度合いが高いと, 相手のデバイスが光り, そし て音が鳴るというツールである. 自分の真剣さ, 熱意を相手に伝えることでお互いがより意識し話 し合うことができ, さらにコミュニケーションの質も上がるという新しいコミュニケーションをコ Group Report of 2012 SISP -5- Group Number 07-C Mind Communication ンセプトとしている. このことで問題点を解決し, システムやユーザシナリオ等も変えていった. 最終発表では, 中間発表と同様にポスターセッションを行った. 発表場所が中間発表とは異なっ ていたため, 発表の仕方も少し変えていった. ポスターだけでは多くは伝わらないため, 口頭でも詳 しくわかりやすく知ってもらうための準備を行った. なお, プロジェクトの意味や, 根底についてのさまざまな疑問, 戸惑いなどが個人及びグループ 内, またはプロジェクト全体から問題視されていくことが考えられる. その問題解決と共に成果物 を各チーム一つずつ作ることをし, 私たちの行っている『マインドコミュニケーション』というプ ロジェクトにおいて, プロセスや背景, 目的に基づいてモノを製作すること全てを本プロジェクト とし, これらの実践を行うことでこのプロジェクトを進めていった. (※文責: 澤田一輝) 2.1.1 先行事例調査 私たちは,脳波についての知識がなかったので,脳波がどういったものか,世間でどのように利 用されているか,これからの目標課題を達成するため脳波関連についての先行事例調査を行った. 先行事例調査は各グループ毎で行った. グループ A は脳波でものを動かすということをテーマに 調査を行った. グループ B では, 脳波を用いることによって普通のコミュニケーションが困難な人 を円滑なものにするという調査を行った. グループ C は脳波と五感との関係性を調べた. また,調べたものを共有するために発表形式で情報交換をした. • グループ A グループ A では特に, 『ロボット』,『車椅子』,『アバター』,『音楽』の 4 つの関連性を調査 した. ロボットを脳波で操作を行うときは, 腕を動かすときの脳波を読み取り, 本人がイメー ジした通りの動きを再現してくれる. これは, 腕や足が動かせない患者でも動かすことがで きるようになり, さらに物を掴ことや, 離す, 指や手を曲げるといったことが可能となる. 車 椅子では, 電極を 5 つに減らし, 工夫することで, リアルタイム制御を可能にした. 右手を挙 げると想起すれば右に進み, 歩くことを想起すると前進することを実現した. 緊急停止はほ おの筋肉部分で行われる. 1 日 3 時間を 1 週間程度訓練を行うことで, 95 %の高精度制御が 可能になるという. 音楽との関係性では, 脳波で楽器を演奏することができる. 帽子を被り, 脳波を検出し, パソコンで分析する. その結果を音楽エンジンに送り, ピアノを演奏する. ブ レイン・オーケストラという指揮者と 4 人の演奏者で構成されたものは, 脳が肉体なしに何 をできるのかを試すというのを目的として, 記憶や視覚の刺激に関係する脳波を演奏する. スコアと脳波はスクリーンに表示されるため, 観客も見ることが可能となっている. 他にも 脳波と音楽で人を癒すミューズアートセラピーというものがある. 即興演奏中の脳波はα波 だけでなく, 睡眠時に良く見られるθ波がα波よりも優位に頻繁に顕われている. つまり, 演 奏される即興曲は, α波ミュージック以上の癒しの効果となっている. 顕在意識でいながら 潜在意識の様な状態になっている. 脳波ではイメージしたものを動かすことが可能というこ とがわかった. 他の生体信号などを脳波と一緒に用いるとさらなる可能性が広がると考えた. • グループ B グループ B が調査した結果, 医療関係で脳波が多く用いられているということがわかった. 例えば, 脳波を利用した補聴器. 独自開発の検査音を聞いたときの脳波の変化パターンから, 許容できる音量の上限値を高精度に推定できる. 他には, すべての人間ではないが, 植物状態 Group Report of 2012 SISP -6- Group Number 07-C Mind Communication となった人間とコミュニケーションがとれるということ. 簡単な質問であればイエスかノー で答えてくれる. 改良が進めばより表現豊かなコミュニケーションがとれるとのこと. そし てゲームでも治療ができるとのことであった. コントローラーの変わりに脳波を利用して, 遊ぶことが可能なレースゲーム. β波が活発に現れるほどクルマは加速し, 逆にθ波が活発 になると減速するというもの. だが, 有効性には証明されていないとのこと. • グループ C グループ C は五感との関係性を調査した結果, 五感から受けた情報によって, 精神や感情は 変化するという結論をだした. 視覚調査については, 目がほとんど見えない人でも, 何かを注 視しようとすれば, 脳波は反応を示す. そこでその脳波を検知し, 網膜内のわずかに残った神 経細胞を刺激して, 視力を回復させる研究が行われているというおとがわかった. 嗅覚につ いては, 香りで脳が活性化したり, リラックスになったりと脳波に影響を与えていることが わかった. (※文責: 澤田一輝) 2.1.2 先行事例における問題点 各グループの調査をまとめると共通していた点は 3 つあった. 1 つ目はグループ A が調べたとお り, あまり複雑で細かな動きはできない. 2 つ目は医療関係で使われていることが多い. 3 つ目は 自分の力で動かさなくともイメージをすることで動かすことができる. つまり脳波はコミュニケー ションツールとしてではなく, 医療関係, 遊具として応用されていることが多いとわかった. これら は私たちが目標としているコミュニケーションと脳波とは異なるものとなっている. (※文責: 澤田一輝) 2.2 目標課題設定 まず, 目標を定める前に脳波についての先行事例調査を行った. 先行事例調査は各グループ毎で 行った. グループ A は脳波でものを動かすということをテーマに調査を行った. グループ B では, 脳波を用いることによって普通のコミュニケーションが困難な人を円滑なものにするという調査を 行った. グループ C は脳波と五感との関係性を調べた. グループ A では特に, ロボット, 車椅子, アバター, 音楽の 4 つの関連性を調査した. ロボットを 脳波で操作を行うときは, 腕を動かすときの脳波を読み取り, 本人がイメージした通りの動きを再 現してくれる. これは, 腕や足が動かせない患者でも動かすことができるようになり, さらに物を掴 ことや, 離す, 指や手を曲げるといったことが可能となる. 車椅子では, 電極を 5 つに減らし, 工夫 することで, リアルタイム制御を可能にした. 右手を挙げると想起すれば右に進み, 歩くことを想起 すると前進することを実現した. 緊急停止はほおの筋肉部分で行われる. 1 日 3 時間を 1 週間程度 訓練を行うことで, 95 %の高精度制御が可能になるという. 音楽との関係性では, 脳波で楽器を演 奏することができる. 帽子を被り, 脳波を検出し, パソコンで分析する. その結果を音楽エンジンに 送り, ピアノを演奏する. ブレイン・オーケストラという指揮者と 4 人の演奏者で構成されたもの は, 脳が肉体なしに何をできるのかを試すというのを目的として, 記憶や視覚の刺激に関係する脳 波を演奏する. スコアと脳波はスクリーンに表示されるため, 観客も見ることが可能となっている. 他にも脳波と音楽で人を癒すミューズアートセラピーというものがある. 即興演奏中の脳波はα波 Group Report of 2012 SISP -7- Group Number 07-C Mind Communication だけでなく, 睡眠時に良く見られるθ波がα波よりも優位に頻繁に顕われている. つまり, 演奏され る即興曲は, α波ミュージック以上の癒しの効果となっている. 顕在意識でいながら潜在意識の様 な状態になっている. 脳波ではイメージしたものを動かすことが可能ということがわかった. 他の 生体信号などを脳波と一緒に用いるとさらなる可能性が広がると考えた. グループ B が調査した結果, 医療関係で脳波が多く用いられているということがわかった. 例え ば, 脳波を利用した補聴器. 独自開発の検査音を聞いたときの脳波の変化パターンから, 許容できる 音量の上限値を高精度に推定できる. 他には, すべての人間ではないが, 植物状態となった人間とコ ミュニケーションがとれるということ. 簡単な質問であればイエスかノーで答えてくれる. 改良が 進めばより表現豊かなコミュニケーションがとれるとのこと. そしてゲームでも治療ができるとの ことであった. コントローラーの変わりに脳波を利用して, 遊ぶことが可能なレースゲーム. β波 が活発に現れるほどクルマは加速し, 逆にθ波が活発になると減速するというもの. だが, 有効性に は証明されていないとのこと. 五感との関係性を調べたグループ C は, 五感から受けた情報によって, 精神や感情は変化すると いう結論をだした. 視覚調査については, 目がほとんど見えない人でも, 何かを注視しようとすれ ば, 脳波は反応を示す. そこでその脳波を検知し, 網膜内のわずかに残った神経細胞を刺激して, 視 力を回復させる研究が行われているというおとがわかった. 嗅覚については, 香りで脳が活性化し たり, リラックスになったりと脳波に影響を与えていることがわかった. 各グループの調査をまとめると共通していた点は 3 つあった. 1 つ目はグループ A が調べたとお り, あまり複雑で細かな動きはできない. 2 つ目は医療関係で使われていることが多い. 3 つ目は 自分の力で動かさなくともイメージをすることで動かすことができる. つまり脳波はコミュニケー ションツールとしてではなく, 医療関係, 遊具として応用されていることが多いとわかった. これら は私たちが目標としている『Step up』というコンセプトとは異なるものとなっている. そして, 中間発表のフィードバックをまとめることによって問題点を考えた. 『知られたくない ときにも使わなければいけないのか』, 『デバイスとコンセプトの関係性がわからない』等といっ た意見を多くもらった. そのことから自分をさらけ出すという考えを自分を伝えるというものに変 えた. 最終発表では中間発表に比べ大きく変更したが, 遠距離でも使うことができることや自分で はコントロールできない脳波を用いて相手に伝える等といったことは変えずに製作を行った. 目標としているデバイスを製作するには, コミュニケーションを促進させる補助として利用する ようなデバイスが求められることがわかった. そして対面, 非対面時でも利用することができ, 自分 ではコントロールできない情報を用いることでよりよいコミュニケーションとなると考えた. (※文責: 澤田一輝) Group Report of 2012 SISP -8- Group Number 07-C Mind Communication 第3章 3.1 課題解決へのプロセス 脳波に関する基礎学習 脳波を取り扱う上で, 脳 [7] に関する基礎知識を得る必要があった. 人の脳は成人で体重の 2 %ほ どにあたる 1.2∼1.6 キログラムの質量がある.約 300 億個の神経細胞を含むがそれは脳をなす細 胞の 1 割程度であり,残りの 9 割はグリア細胞と呼ばれる神経細胞に栄養を補給したり,伝導速度 を上げたりと,様々な働きをする.また,脳は『大脳』 , 『小脳』 , 『脳幹』の3つに大きく分かれる. さらに,大脳は前頭葉・頭頂葉・側頭葉・後頭葉に,脳幹は間脳・中脳・橋・延髄に分けられる. 大脳の皮質は複雑な神経結合が構成されていて,人間の思考などの中枢になっている.大脳皮質 の内側は白質と呼ばれ,大脳皮質の神経と他の神経をつないでいる役割がある.脳は前頭葉・頭頂 葉・側頭葉・後頭葉から形成されている. 前頭葉とは,大脳の前にある部分で,人間の思考や理性を制御している.また,言葉を話したり, 体を動かしたりする機能も担っている.人間が感情を抑え理性的に行動できるのも,前頭葉の働き があるからである.前頭葉の機能に問題が生じると, • 我慢が必要なときに我慢できなくなる • 己の感情のまま行動する • 言葉がしゃべれなくなる • 運動機能に問題がおこる など,大きな問題になってしまいます. 頭頂葉とは,大脳の天辺やや広報に位置しており,人間の感覚に関わる機能を担っている.頭頂 葉に問題が起こると. • 感覚がなくなる • 体の一部分,または全体が痺れる といった問題が発生する. 側頭葉とは,大脳の横の部分に位置しており,頭でいうと,こめかみの辺りに位置する部分です. 特に重要な機能は記憶ですが,それ以外にも聴覚・嗅覚を認識する役割も持っています.ここに問 題が発生すると • 昔のことが思い出せなくなる,逆に最近のことが覚えられなくなる • 耳は聞こえるが何を聞いているのか分からない • においはわかるが何のにおいかわからない といった問題が発生する. 後頭葉とは,大脳の後ろに位置しており,視覚に関わる機能を担っている.ここで問題が発生す ると • 目には以上がないのに物が見えない • 物は見えるが正確に見えない Group Report of 2012 SISP -9- Group Number 07-C Mind Communication などの問題が起こります. 小脳は,脳の後ろ側にぶら下がるようにあり,神経細胞が 1,000 億ある.また,運動機能の調整 や体で覚えるといった役割を持っている. 脳幹は,大脳小脳と骨髄の間を行き来するところで,大きく分けて間脳・中脳・橋・延髄の 4 つ に分けらる. 間脳は,脳幹の中で最も脳に近い部分にあり,大脳全体に覆われている.嗅覚以外のすべての間 隔の中継地点となっており,大脳を覚醒させようとする.また,自律神経の最高中枢になってお り,内臓の制御,血圧の制御,体温調整,ホルモン分泌などの役割を担っている. 中脳とは,間脳の内側に位置しており,大脳皮質と小脳,脊髄などを結び付けている重要な中継 地点である.中脳自体も,高度な運動の制御,視覚の中継所,眼球運動などを制御する役割を担っ ていいる. 橋とは,小脳との連絡路で,小脳と大脳・脊髄などの連絡ができるようになっている.延髄は, 呼吸と循環器の制御をする役割を担っている. また脳以外にも, 脳波に関する 基礎知識に関する講義を開講して知識を得た. 脳波は人の脳から 生じる電気活動を頭皮上, およびその周辺に置いた電極で記録したものである. 個々の神経細胞の 発火を観察する単一細胞電極とは異なり, 電極近傍あるいは遠隔部の神経細胞集団の電気活動の総 和を観察する. 脳波は大きく 1Hz∼3Hz までをδ波,4Hz∼7Hz までをθ波,,8Hz∼13Hz までをα波,14Hz ∼25Hz をβ波,30Hz より大きいものをγ波の 5 つに分類される.δ波は,新生児の覚醒時に最 も多く,年を経て減少し成人した健常者からは計測されることはない.θ波は,睡眠時に顕著に現 れる.α波は,精神的に比較的活動していないときに出現する。注意や精神的努力によって抑制、 減衰する。α波の 発生説にはいくつか存在するが、Andersen らの仮説では皮質のα波は視床から の入力によるものであり、視床におけるペースメーカーが皮質リズムを形 成し、視床の反回性抑 制ニューロンがリズムの周波数を作っているとしている。Nunez らの説では皮質と皮質間を結ぶ 長い連合線維によって生じるとされている。Andersen らの仮説では視床ニューロン群に発生する 脱分極、過分極からなるシナプス後電位の律動性振動によって作られる。 β波は,何かしらに集 中時に多く現れる.γ波は,知識や意識に関連しており多くの実験において筋電的な活動 と僅か な眼球運動によるアーティファクトによるものである. (※文責: 石川良) 3.2 脳波実験 先行事例調査で脳波についての先行事例を学んだ. そして学ぶごとに『脳波とは何か』という疑 念が強まっていった. そこで脳波実験を通し, 正常脳波, 感覚刺激, 精神刺激が脳波に与える影響を 観察するために, 結果が確認しやすいものと自分たちで気になった実験を設定し, 佐藤直行先生の 指導のもと実験を行った. また現在用意されている脳波測定器などの実験器具で, どこまでの精度 で脳波情報を有意な結果として得られるかや, 測定の限度を知るためという意味合いもあった. (※文責: 石川良) Group Report of 2012 SISP - 10 - Group Number 07-C Mind Communication 3.2.1 脳波実験での役割 脳波実験にあたり,作業を分担し,実験班と解析班に分かれて作業した.実験班は澤田一輝・神 田有希・上原隆矢の三名で,実験班は,実験室の手配,実験室の温度の調整,実験材料の準備を行っ た.解析班は石川・久守玄永で,実験班が実験により得たデータを Scilab を用い,2 つの異なる条 件を t 検定し比較,解析した.Scilab は, INRIA によって開発されているオープンソースの数値計 算システムで, 行列や多項式も処理することができ, 関数をグラフにして表示することもできる. (※文責: 石川良) 3.2.2 被験者 プロジェクトメンバー 8 人 (男:6 人、女:2 人) で,被験者は全員男性だった. (※文責: 石川良) 3.2.3 日時と場所 実験は平成 24 年 5 月中旬から下旬にかけて,午後 15 時から 18 時の間に行った.場所は公立は こだて未来大学 235 室裏にある実験室で行った. (※文責: 石川良) 3.2.4 方法 脳波は脳内の電気活動が頭皮上に作る電位のことであり,それは,頭皮上の電極と基準電極間の 電位差として測定される。測定された脳波の情報はコンパクトフラッシュにとりいれてられ PC で 読み込んだ.その読み込んだ時に CSV ファイルに書き換えて保存した. 電極配置は,頭蓋の矢状中央線において,鼻根と後頭極を結ぶ線を引き,これの中点を頭蓋頂と して 10 等分する.このように計測した網目に,10 %あるいは 20 %の間隔をとって電極配置部位 が決定される. 今回の実験で被験者は,α波,β波,θ波が取得しやすいような 6 ヶ所の位置に電極を取り付 け,さらに額上部にグランド,右耳たぶの位置にリファレンス, 腕に心拍を装着させた (図 3.1). Group Report of 2012 SISP - 11 - Group Number 07-C Mind Communication 図 3.1 電極位置 (※文責: 石川良) 3.2.5.1 開眼・閉眼実験 この実験では, 開眼している時と閉眼している時の脳波の違いについて調べた. 開眼している時 と閉眼している時の脳波は違いが解りやすいため, 実験方法や解析方法の練習の意味もかねて最初 に実験を行った. まず, 実験を行う際に被験者と時間を計る係, 計測係の 3 人にが必要となった. 被験者は 3 分間 閉眼状態を維持した. 次に 3 分間開眼状態を維持した. また実験の前後に 1 分間の安静閉眼し測定 を行った. 計測係は時間を計る係の合図と共に計測を開始する. 開眼している間はノイズを防ぐた めに, 被験者はまばたきをなるべくしないように指示をした. 周囲の音も脳波に影響を与えるので, 周囲にいる人も細心の注意を払った. (※文責: 上原隆矢) 3.2.5.2 驚き実験 この実験では, 驚いた時の脳波について調べた. 驚いた場合の脳波も顕著に出やすいのでこの実 験を行った. 被験者にはパソコンでマウスを操作して行うイライラ棒のゲーム (図 3.2) を行ってもらった. こ のゲームは壁にぶつかると, スタート地点からまた始まる. そして一定のところまで到達すると, 怖 い画像 (図 3.3) が現れて音が鳴る仕様となっている. そのときの被験者の驚いたときの脳波の測定 を行った. また, 開眼・閉眼実験同様, 実験の前後に1分間の安静閉眼を行った. Group Report of 2012 SISP - 12 - Group Number 07-C Mind Communication 図 3.2 イライラ棒のゲーム 図 3.3 怖い画像 (※文責: 上原隆矢) 3.2.5.3 匂い実験 この実験では, 被験者が 5 つの違う匂いを嗅ぎ, それぞれの脳波の違いについて調べた. この実 験は, 先行事例として杏林大学医学部, 古賀良彦教授のコーヒーでの癒しと集中力に関する研究が あったため, 他の匂い刺激ではどのような効果が得られるかを知るために行った. また,匂いの種 類は全部で 9 種類あるとされている.それを以下に示す. 1. アンモニア 2. アミン系 3. アルデヒド系 4. 芳香族系 Group Report of 2012 SISP - 13 - Group Number 07-C Mind Communication 5. エステル系 6. 炭化水素系 7. 有機酸系 8. 硫黄系 9. 硫化水素 今回は 5 つの食品の匂いを順番に被験者に嗅がせ,その時の脳波を測定した.被験者はまず, 1 分 間安静閉眼を行い, その次に 15 秒間匂いを嗅がせた. 食品ごとに匂いの強さが異なり,匂いがきつ くなる順で被験者に匂いを嗅がせた.鼻腔内に残っている匂いが告ぎの実験に影響を与えないよう に,3 分間の安静閉眼を行った.これを 1 セットとし,次の食品へ進んだ.以下がその順番である. バナナ (エステル系) →レモン (炭化水素系) →インスタントコーヒー (芳香族) →生魚 (アミン 系) →にんにく (硫黄系) この 5 つの匂いにした理由はアンモニア, アミン系, アルデヒド系, 芳香族, エステル系, 炭化水 素系, 有機酸系, 硫黄系, 硫化水素系の 9 種類あるのにおいの系統から身近な食品で得られる 5 種 類を選択したからである. バナナは皮を剥き匂いが出やすいように半分にちぎった (図 3.4).レモ ンも同様に川を剥き果肉が見える状態にした (図 3.5).コーヒーはインスタントコーヒーを用い て,匂いが出やすいように細かくすり潰した (図 3.6).魚は秋刀魚を一匹用いて,常温に戻し行っ た (図 3.7).にんにくは皮を剥き匂いが出安用に細かくすり潰したものを用いた (図 3.8). 選んだ 5 種類は全てビニール袋の中に入れて, 部屋に匂いが充満しないように冷蔵庫に保管して 行った. 図 3.4 バナナ 図 3.5 レモン (※文責: 上原隆矢) Group Report of 2012 SISP - 14 - Group Number 07-C Mind Communication 図 3.6 インスタントコーヒー 図 3.7 図 3.8 魚 にんにく 3.2.5.4 シンクロ実験 この実験では, 2 人が同時に行動した時と, それぞれ違う行動をした時の脳波の違いについて調 べた. それぞれが同じ行動(シンクロ)をしたときに脳波もシンクロするかを調べるために行った. 2 人の被験者にまず最初の 1 分間安静開眼を行ってもらった. 次に, 3 分間じゃんけんをしても らい同じタイミングで同じ手を出してもらった. そして, また 1 分間の安静状態にし, 次も 3 分間 じゃんけんをしてもらうが, それぞれの被験者が背中を合わせて相手の行動が見えないようにじゃ んけんをすることとした. そして, また 1 分間の安静状態にし, 次は 2 人で『人志松本のすべらな い話』[8] の動画を鑑賞してもらい測定を行った. (※文責: 上原隆矢) 3.2.5 解析班としての役割 解析班の役割として,実験班が実験を行ったデータを受け取り解析を行うことで,脳波がどのよ うなときに強く出たり,弱く出たりするか.また,その脳波な何波なのかといったことを知ること でより脳波について知識を深め,これから製作するデバイスに活かすためでもあった.まず,脳波 解析技術獲得のため Scilab と呼ばれるオープンソースの数値計算システムをそれぞれメンバーの Group Report of 2012 SISP - 15 - Group Number 07-C Mind Communication パソコンにインストールした. 脳波解析を学ぶために,担当の佐藤直行先生が製作した課題を行った (図 3.9). 図 3.9 Scilab Scilab で解析する際フーリエ変換し,周波数ごとの脳波の強さを調べた.フーリエ変換とは, 簡 単にいえば時間関数を周波数の関数に変換することである. フーリエ変換を用いることで周波数ご との脳波の強さを知ることができるもので,フーリエ変換によって脳波の何波が出ていてどれくら いの強さなのか分かるようになった.また,解析の際 t 検定を用いて実験のデータに優位な差があ るか検定し比較した. (※文責: 上原隆矢) 3.2.6 解析結果 開眼閉眼、においでの脳波の反応についての実験を行い,脳波のデータを Scilab を使用して 1 秒毎にセグメントに分け,フーリエ変換を行い,t 値を検出して解析結果の比較を行った.フーリ エ変換とは, 簡単にいえば時間関数を周波数の関数に変換することである. 先行事例としての開眼・ 閉眼の事例ではα波が優位になっていて,これは精神活動が比較的行われていないとき,つまりリ ラックスしているときに出現する.今回の実験の結果でも図 3.10,図 3.11 のようにα波は優位に なっていて実験は狙い通りの結果を収めたといえる. Group Report of 2012 SISP - 16 - Group Number 07-C Mind Communication 図 3.10 一人目の開眼閉眼 図 3.11 二人目の開眼閉眼 嗅覚の先行事例として杏林大学医学部,古賀良彦教授のコーヒーでの癒しと集中力に関する研究 がある.この研究で,ある種類のコーヒーにはリラックスしていることを示すα波を増加させる効 果があることがわかった.これにより,特定のもののにおいは脳波に影響を与えることがわかった ため,今回の我々の実験は,アンモニア,アミン系,アルデヒド系,芳香族,エステル系,炭化水 素系,有機酸系,硫黄系,硫化水素系の 9 種類あるのにおいの系統から身近な食品で得られる 5 種 Group Report of 2012 SISP - 17 - Group Number 07-C Mind Communication 類を選び,実験を行った.食品はエステル系からバナナ,芳香族系からコーヒー,アミン系から生 魚,硫黄系からニンニク,炭化水素系からレモンを選んだ.図 3.12∼3.16 はにおいによるα波へ の影響と閉眼の脳波を比較した.それぞれのにおいでの計測量の違いはあれどどのにおいでもα波 が優位になった.しかし,どのにおいも閉眼時のα波の計測量を超えることはできなかった.5 つ の中でのα波の計測量はバナナが明らかに多かった. 図 3.12 Group Report of 2012 SISP バナナ - 18 - Group Number 07-C Mind Communication 図 3.13 レモン 図 3.14 コーヒー Group Report of 2012 SISP - 19 - Group Number 07-C Mind Communication 図 3.15 魚 図 3.16 にんにく Group Report of 2012 SISP - 20 - Group Number 07-C Mind Communication グラフの縦軸は脳波の強さ (電圧) で,横軸が周波数帯である.8∼12Hz がリラックスしている 状態を示す.いずれの匂い刺激 (赤色) は開眼時 (青色) より,リラックスの周波数帯において高い 電圧を示すことはなかった.したがって,いずれの臭い刺激よりも,閉眼時のほうがリラックスし ていることが分かる. (※文責: 久守玄永) 3.3 制作物のプラン作成 現実的かつ論理的なアイデアを得るための話し合いをブレインストーミングで行った.そのアイ デアを雛形にコンセプトシートを作成した. (※文責: 澤田一輝) 3.3.1 ブレインストーミング ブレインストーミングとは,20 世紀中期にアレックス・F・オズボーンによって考案された会議 方式の一つである.集団思考,集団発想法,課題抽出ともいう.これは,集団でアイデアを出し合 うことで相互交錯の連鎖反応や発想の誘発を期待する方法である.人数に制限はないが,5 人以 上,多くても 10 人ほどが望ましく,議題はあらかじめ周知しておくべきである.ブレインストー ミングには以下の 4 つのルールがある. 1.判断結論を出さない 自由なアイデア抽出を制限するような,判断結論は慎み,以降の段階に譲る.ただし可能性を広 く抽出する質問や意見はこの限りではなく,その場で自由にぶつけ合ってよい. 2.粗野な考えを歓迎する 誰もが思いつきそうなアイデアよりも,奇抜な考え方やユニークで斬新なアイデアを重視する. 新規性のある発明はたいてい最初は笑いものにされることが多く,そういった提案こそ重視すべき である. 3.量を重視する 様々な角度から,多くのアイデアを出す.一般的な考え方,アイデアはもちろん,一般的でなく 新規性のあるアイデアまであらゆる提案を歓迎する. 4.アイデアを結合し発展させる 別々のアイデアをくっつける,一部を変化させるなどをして新しいアイデアを生み出す.他人の 意見に便乗することも推奨される. (※文責: 澤田一輝) 3.3.2 KJ 法 KJ 法は,文化人類学者川喜多二郎がデータをまとめるために考案した手法である.データを カードに記し,カードをグループにまとめ,図解する.共同の作業にも用いられ,創造性開発に効 果があるとされる.以下の 4 ステップからなる. 1.カード作成 Group Report of 2012 SISP - 21 - Group Number 07-C Mind Communication 1 つのデータを 1 枚のカードに要約して記述する.複数を一枚に書いてはいけない 2.グループ編成 数多くのカードの中から似通ったいくつかのものをグループにまとめ,それぞれに見出しをつけ る. 3.図解化 グループの見出しの意味関係により配置し,線でつないだり,囲んだりすることで,関係を図解 する. 4.叙述化 図解から文章を書き出したり,時間前後関係に展開することで,新たな発想を得たり,誤りを見 つけ出したりする. ブレインストーミングで出し合ったアイデアを KJ 法で構造化し,実験の結果なども踏まえ,纏 め上げた.GroupC では以下の2つのテーマをブレインストーミングで話し合った. 1. 集中・リラックスする状態 脳波を計測することによって, 集中とリラックスの状態を知ることができるため, 自分が集中 しているときやリラックスしている状態についてブレインストーミングを行った. その後, KJ 法を 用いてアイディアを整理した. ブレインストーミングを行った結果, 集中, リラックスしている状態では, それぞれいくつかの種 類があることがわかった. 集中している状態では, 講義を受けている時やゲームをしている時など「何かに没頭している状 態」, フリースローやバッターボックスに入った時など「スポーツをしている状態」, 外国人と話す 時や大事な話をする時など「コミュニケーションしている状態」があることがわかった. リラックスしている状態では, テレビを見ている時や歯を磨いている時など「無意識の状態」, 煙 草を吸っている時やアルバイトの休憩中など「一服している時の状態」, 湯船につかっているとき やアロマをたいている時など「心地よさを感じる状態」があることがわかった. また, 本を読んで いる時やテレビを見ている時は集中しているがリラックスもしている状態があることがわかった. 2. コミュニケーションの種類 コミュニケーションツールを製作するにあたって, 現在のコミュニケーションの方法やコミュニ ケーションツールについてブレインストーミングを行い, そしてそれが,<聴覚> <視覚><触覚 >の 3 種類のどこの領域で効果を発揮しているかを考え,KJ 法を用いてアイディアを整理した. (※文責: 澤田一輝) 3.3.3 コンセプトシート 私たちはまず, 人々が行うコミュニケーションと人々が集中・リラックスする場面についてブレ インストーミングを行った. その後, ブレインストーミングで得たアイデアを KJ 法でグループ分 けした. 私たちのグループでは KJ 法を 2 回行った. まず始めに集中とリラックスにグループ分けを行った. そしてそこからさらに細かにグループ分 けを以下のように行った. <集中> 一点だけに集中していとき, なにかに没頭しているとき, コミュニケーションを行ってるとき, 行 動を行ってるとき Group Report of 2012 SISP - 22 - Group Number 07-C Mind Communication <リラックス> うとうとしているとき, 家にいるとき, 心地よいとき, 一服を行ってるとき, 無意識のとき, 身体 的に快感を得てるとき そしてここからさらに集中・リラックスの度合いを高いと低いに分けていった.(図 3.17) 次に『マインドコミュニケーション』で活動を行ってるため, コミュニケーションについての KJ 法も行った. 6 種類に分けられ, その結果が以下のようになった (図 3.18). 図 3.17 ブレインストーミング_集中・リラックスの度合い 図 3.18 ブレインストーミング_コミュニケーション 人 対 人 挨拶, 会話, 返事, 握手, 表現 等 Group Report of 2012 SISP - 23 - Group Number 07-C Mind Communication 物 対 人 サイレン, 目覚まし時計, チャイム, 警告音 等 動物 対 人 ペットと戯れる, 動物をなでる 等 動物 対 動物 威嚇, 求愛ダンス, 超音波 等 デジタル使用 SNS, メール, 通話 等 デジタル不使用 文章, プリント 等 他のまとめ方もあるのではないかということで, 同じものを使い, そこから『聴覚』『視覚』『触覚』 の 3 種類に分けた (図 3.19), さらにイメージの良さ悪さから上下に配置した. たとえば,求愛ダン スやハグなどは愛を伝えるものなので上部に,ケンカなどは悪意で他者を傷つけるものとして下部 に配置した.また,前述の愛や悪意などでも小項目をつくりまとめた. 図 3.19 ブレインストーミング_『聴覚』『視覚』 『触覚』 これらの KJ 法をまとめたところ, 私たちはテレビ電話というものに着目した. コミュニケー ションの種類に関しての KJ 法を行っていたときに, テレビ電話は, 1 度目の分類でも, 2 度目の分 類でも, 様々な項目と属性を重複させていたためである. さらに, テレビ電話は非対面のコミュニ ケーションのなかでも映像があることにより他の非対面コミュニケーション手段よりも一歩前に出 ていると考えたのである. そして, テレビ電話を使用している際に一緒に使うツールを議論した結 果から『にぎりん』を考案, これは, テレビ電話など非対面のコミュニケーションに触覚というも Group Report of 2012 SISP - 24 - Group Number 07-C Mind Communication のがなかったためにその不足を補うことを目的として考案されたのである. そしてさらに, それを 改良した『Natural』を考案し, そこからコンセプトシートを作成した. コンセプトシートは A3 用 紙のテンプレートに, アイデアをよりわかりやすく, 説明しやすく表現していった. それらの中間発表までの評価を経て, 最終成果物は, 指摘された点を改善, もしくは問題を回避 するために Step Up を考案した. これは Natural とは利用の仕方が逆になるように考えたもので あった. (※文責: 久守玄永) 3.4 3.4.1 デバイスの習得 習得技術 私たちが提案したものを実装するためのプロトタイプを製作する為に, Arduino, Processing に 関して, 教本のサンプルプログラムやリファレンス [9] でプログラムの書き方, 回路についての必要 な知識を学んだ. また, 機器同士の通信のために XBee の基本的な利用法を学んだ. 一つ目の, Arduino で作成したサンプルプログラムは, 一定時間毎に LED を明滅させることが できるというもの, サンプルプログラムを改良したもので, LED をセンサーからの入力分の時間毎 に LED を明滅させることができるもの, センサーの入力に応じて, LED の明るさを変えることが できるプログラムを書いた. 二つ目の, 回路については WEB ページ [10][11] を参考にして組んだ. また, 回路では抵抗やコ ンデンサの使用方法・箇所を誤ると, 回路が焼ききれることや, 接続されたマイクロコントローラー の内部破損を引き起こすことも十分に考えられるため, 実験, 実装には慎重を極めた. 最終成果物ではデバイスにスピーカーを用いることになるということで, Arduino を用いたス ピーカーからの音, もしくは音楽の出し方も学んだ. これはあまり複雑なものではなく WEB ペー ジ [12][13] から学んだものだ. このとき, 音の高さは平均律を採用した. これは WEB ページのサ ンプルプログラムがそうであったこともあるし, 何よりも今回は単音しか鳴らす予定がなく(平均 律でオクターブ違いの同じ音以外の 2 つ以上の音をハモらせると音に濁りが生じる), 何よりも今 回は音質のよくない電子音であり, あえて純正律を使用する必要も無いと考えたからである. (※文責: 久守玄永) 3.4.2 Arduino Arduino (図 3.20) は AVR マイクロコントローラ, 入出力ポートを備えた基板, C 言語風の Arduino 言語とその統合開発環境から構成されるシステムである. Arduino はスタンドアロンで動 作させることができる. 今回は ArduinoUno という一般的な型の Arduino を使った. Processing は主に電磁アートやビジュアルデザインのための言語・統合開発環境である. Arduino 言語の元と なったこの言語もまた, JAVA を簡略化したものである. Processing はマイクロコントローラを動 かすこともできるので, 今回は Gainer を動かすために用いた. Gainer は Arduino のようにマイ クロコントローラーであるが, Arduino のようにスタンドアロンで動かせないため常に PC に接続 しなければならない, しかしその反面, PC 上のデータを読み出したり PC からの入力を容易に与 えることができる. Group Report of 2012 SISP - 25 - Group Number 07-C Mind Communication 図 3.20 Arduino (※文責: 久守玄永) 3.4.3 Gainer Gainer(図 3.21) とはセンサ (明るさや加速度) やアクチュエーター (LED やモーター) とパソコ ンを接続する I/O モジュールと,Max/MSP や processing 用のソフトウェアライブラリからなる 環境です.この環境を用いることで,モニター,キーボード,マウス,といった通常のパソコンの 環境の留まらない作品やインターフェイスのプロトタイプを短時間で製作できるものである. Gainer は既に講義で使用したことがあった.しかし,一年以上触れていなかったので忘れてい る部分も多々あり,もう一度簡単に学習し直した. 私たちは前期に,脳波がある一定の数値以上になった時に Arduino に電気を流すものを Gainer を用いて製作した.しかし,後期ではデバイスとパソコンの無線化を実装したので使用しなかった. Group Report of 2012 SISP - 26 - Group Number 07-C Mind Communication 図 3.21 Gainer (※文責: 久守玄永) 3.4.4 Processing Processing(プロセッシング)(図 3.22) は,オープンソースオブジェクトであり,かつては MIT メディアラボで開発されていた.電子アートとビジュアルデザインのためのプログラミング言語で あり,総合開発環境である.視覚的なフィードバックが即座に得られるため,初心者がプログラミ ングを学習にするのに適しており,電子スケッチブックの基盤としても利用できる.また,Java を単純化し,グラフィック機能に特化した言語といえる. Processing も既に講義で学んでいたが,講義での学習だけでは足りなかったので Processing の 学習を行った.Processing によって前期に実装した物は,ヘッドセットによって得た脳波を用い て,脳波の集中が一定値を上回ったら Gainer から Arduino へ電流を流すものになっている.後期 は,ネットワーク通信を行いたかったので Processing でサーバを立てて読み込むプログラムと書 き込むプログラムを製作した. Group Report of 2012 SISP - 27 - Group Number 07-C Mind Communication 図 3.22 Processing (※文責: 久守玄永) 3.4.5 Xbee XBee は ZigBee 規格での無線通信機能をマイクロコントローラーに搭載する小型モジュールで ある. ZigBee 規格は低コスト, 省電力に優れた規格だが, 有効範囲はやや狭いといったものであ る. 狭いとはいっても最低のものでも範囲は 10m 強はある. 今回の利用法ではおそらく室内に限っ た使い方となることが想定されたので, 有効範囲も十分に足りると判断し, これを採用した. この XBee の初期設定は直接 XBee 本体に入力するには手順やコマンドが複雑, また面倒であるため, そ の際に, X-CTU というソフトウェアを用いた. このソフトウェアは面倒な初期設定を簡単に行っ たり, その設定で正常に動作するかなどを確かめることができるといったものである. ただし, ドラ イバのインストールなどの事前準備はもちろん必要である. その X-CTU を用いて XBee 2 台を対 Group Report of 2012 SISP - 28 - Group Number 07-C Mind Communication 応させた. それらの設定方法や, XBee の組み立ては WEB ページ [14][?] から学び行った. XBee は単体ではモジュールでしかないため今回は Arduino へシールドを用いて装着することや, USB アダプタを使用して PC 側から命令を与えられるように使用することとなった. また, PC 間での IP ネットワークでの通信(LAN やインターネット等)を行うために, ルーターの基本設定, 使用法 を学んだ. (※文責: 久守玄永) 3.4.6 習得成果物 中間発表まででの成果物は 3.3.3 のコンセプトシートのそれぞれや, 回路図などである. 3.4.1 での最終まででの初期設定や, 技術の習得を経て, XBee 同士での通信を行うことができる ようになったため, 片方をシールドを用いることで Arduino に取り付け, PC と Arduino に距離が ある場合でも, Arduino に取り付けた LED を点滅させることに成功した. XBee によって, 短距離 ならば遮蔽物があっても通信できるようになった. つまり, 個人の部屋の中ならばどこにデバイス を置いたとしても機能させることができることへの下地ができたのだ. それとは別に IP ネットワークにより PC 間の通信を行う技術も習得したため, その通信を行う ためのプログラムも Processing でサンプルを元に作り上げることができた. このプログラムを利 用することで, 前述の XBee 間での通信の届かないところの穴を埋める技術として活用することが できそうであった. (※文責: 久守玄永) 3.5 習得成果 中間までの技術は, Arduino と Gainer の 2 つを用いて, デバイスを動作させるというもので あった. Arduino はスタンドアロン, つまり, 適宜命令を与えることはできないため, 簡素な命令だ け与え, 実質的な制御は全て PC に直結している Gainer に対して Processing でリアルタイムに与 えていくというものであった. この段階では, PC と Gainer, さらには Arduino さえもが銅線でつ ながり, 中間までの目標の 1 つであった遠距離通信の手助けとなるデバイスというにはあまりに頼 りなかった. なぜならば, このデバイスは PC の近くにしか存在できず, その実用に耐えうるもので はなかったからである. そのため最終への技術面での課題はいかにそれぞれのパーツが独立し, 小 型になり”邪魔にならない”ことが重要になるように思えた. また, 中間までのデバイスでは, 主に 回路内のコンデンサをコントロールすることでデバイスの出力の調整を図ろうとしていたのだが, あまりうまくいったとは言いがたく, そのときの理解度では, 動いてはいるのだが, どうして動いて いるかはいまひとつわからなかった. 後期での製作にあたり, 我々の班では, 遠距離でも使えるデバイスを製作するということで, 最終 的に無線通信に特化したデバイスを製作することとなった. そのため, XBee 同士での通信と, ルー ターを使用したネットワーク通信の両方を採用した. それは, Xbee のみでは短距離通信しかでき ず, 長距離通信にはどうしても別の手段が必要になったので, 比較的容易に遠距離通信できるルー ターでの IP ネットワークを用いることにした. これにより, 長距離が想定される PC 間での通信 はルーターに, PC からデバイスへの通信は, XBee に, それぞれ任せることで遠距離通信が可能で あり, なおかつ, PC にデバイスが直結しない独立しているものを作り上げることができた. また, Group Report of 2012 SISP - 29 - Group Number 07-C Mind Communication それらの制御には, PC 側に Processing を, デバイス側に Arduino を用いた. これらに利用した通 信の方式は, 基本的かつ, 高クロックで同期が容易なシリアル通信である. さて, 今回なぜ Processing を用いての制御を行ったかであるが, これは Processing がビジュア ル表現に優れた言語で少しのコードを加えることで, エラーや通信の可否が明示的に判断しやすく なり, 開発の際デバッグがしやすくなる. さらには, 修正点を発見しやすいことや, Processing 言語 は Arduino 言語の元になっただけあり, 非常に似ている言語であり, どちらも大まかな書き方が同 じで, 片方を知っていればもう片方の習熟が容易になり学ぶ手間が省けたという点にもある. そし て Arduino を使用した理由としては, やはりスタンドアロンで制御できるということが大きい. 電 源さえ確保すれば PC の近くにある必要がないので今回のような独立して, 小型, それでいて”邪 魔にならない”デバイス作りには必須だったとも言える. (※文責: 石川良) Group Report of 2012 SISP - 30 - Group Number 07-C Mind Communication 第4章 4.1 中間成果 背景 私たちは,脳波を使ったコミュニケーションツールの提案を行う上で, 非対面の時のコミュニ ケーションについて着目した. 現在のコミュニケーションでは, テレビ電話を始めとし, 非対面でも 多くの情報を伝え合うことができる. しかし, 非対面のときは, 対面しているときに比べると非言語 情報を伝えるのは難しいと言える. 言葉で伝わらない情報は偽ることができるため, ありのままの 自分を伝えずにすむ. しかし, そういった相手に自分を隠すコミュニケーションのとり方は, お互い に真剣に向き合うことができずに, 真摯なコミュニケーションをとる事ができないという問題が生 じている. 例えば, 電話している最中に, 相手は自分の話を集中してきちんと話を聞いてくれている のか, 適当に相槌だけをうち, 話を聞いているふりをしているのかは電話の声だけでは判断しづら いと思う. このような問題点を踏まえて, ありのままの自分の状態を相手に伝える環境を作り, 相手 が自分に真摯に向き合っているかどうかを知ることができるようにし, 非対面で行われるありがち な, 表面的なやり取りを改善し, ありのままの自分をさらすことのできるコミュニケーションツー ル『Natural』を提案した.『Natural』により, お互いが誠実に向き合いコミュニケーションをとる ことができる. (※文責: 上原隆矢) 4.2 課題解決 上記の背景でも記載した通り, 非対面のときは, 対面しているときに比べると非言語情報を伝え るのは難しいと言える. なので, 言葉で伝わらない情報は偽ることができるため, ありのままの自分 を伝えずにすむことができ, 自分を隠すコミュニケーションをとることができるため, お互いに真 剣に向き合うことができずに, 真摯なコミュニケーションをとることができないという問題が生じ ている. そこで, 『Natural』を使うことによって, 相手が自分の話を集中して聞いてくれているか どうかを判断することができる. このデバイスはお互いの携帯電話に取り付けているため, お互い が真剣に会話をしないといけないという意識になるので, お互い真剣に会話をしようする.それに よって, コミュニケーションがよりよいものになると判断した. (※文責: 上原隆矢) 4.3 4.3.1 コンセプト 発表技術についての評価 コンセプトは『自分をさらけだす』とし, 脳波という自分ではコントロールできない情報を用 いることで, 自分を隠さず相手に伝えるという新しいコミュニケーションツールを提案する. この ツールは 1 対 1 で使用するもので, 2 人の脳波が集中すると, 各々のデバイスを通して人肌の温度 Group Report of 2012 SISP - 31 - Group Number 07-C Mind Communication を伝える. 前述した通り, 非対面のコミュニケーションでは対面しているときに比べて非言語情報 を伝えることが難しい. そのため, 自分を隠すことができ, 表面的なコミュニケーションになってし まう. しかし, あえてそういった自分をさらけだせる環境を作ることで, お互いが誠実に話し合い, その真心を温もりとして伝え合うことができ, より真摯なコミュニケーションになると言える. 以 上をまとめて制作したコンセプトシートを図 4.1 に示す. 図 4.1 コンセプトシート (※文責: 上原隆矢) 4.4 製作物 『Natural』とは, まず脳波を測定するヘットセットを頭につけ, デバイスを携帯電話に取り付け, 電話をしている最中に自分が集中している脳波, いわゆるβ波が出ると相手のデバイスが温かくな る (図 4.2). そうすることによって, 相手は自分の話を集中して真剣に聞いてくれているのか, 適当 に相槌だけをして話を聞いているふりをしているのかが判断できる. すると, 自分は真剣に会話を しないと相手にばれてしまうので集中して真剣に会話をしようとする. 中間発表では『Natural』のプロトタイプとなるものを製作した. プロトタイプでは相手と自分 の集中の度合い同じタイミングで一定の値にしたらペルチェ素子が温かくなるというところまでの 製作だった (図 4.3). (※文責: 上原隆矢) Group Report of 2012 SISP - 32 - Group Number 07-C Mind Communication 図 4.2 デバイスの構造 図 4.3 使用想定図 4.5 デザイン デバイスのデザインは中間発表では完成しておらず, 内装の部分だけを製作した. 内装は図 4.4 に示す. 電話中でもデバイスの変化が分かるように, 最終完成では, 携帯電話に取り付けることがで きるようなデバイスにする. このデバイスには, Arduino, 基盤, ペルチェ素子, 圧力センサーを組 み込むことを考えている. (※文責: 上原隆矢) Group Report of 2012 SISP - 33 - Group Number 07-C Mind Communication 図 4.4 Natural(仮) 4.6 システム このデバイスのシステムは, Arduino・Gainer・圧力センサー・ペルチェ素子を用いてデバイス を制作した. Arduino は, Arduino 言語を用いてプログラム書き, デバイスを動かした.Gainer はパ ソコンと接続することで擬似的な脳波のセンサーとして用いた. また, 圧力センサーは, デバイスの オン・オフを判定する役割で, デバイスを握っている状態のみペルチェ素子を動かすためのもので 用いた. ペルチェ素子は, 2 人の集中を感知したときに, 5 秒間熱を発生させるために用いた. (※文責: 上原隆矢) 4.6.1 導入 中間発表で使ったシステムは計測用の Mindwave を 1 台,PC を 1 台, Arduino を 1 つ使用す る. 本来, Mindwave は『Natural』を使用する二人分を使用するが, デバイスが 1 つしか用意でき なかったため, Mindwave も中間発表では, 1 台しか使用しなかった. PC には,グループメンバー が所持する 2010 年度の公立はこだて未来大学の生徒の推奨機が使用された. Arduino には, 圧力 センサーに圧力がかかると, デバイスのスイッチが入り, Mindwave で測った脳波のβ波がある一 定の値を超えるとペルチェ素子が温かくなるというプログラムが搭載されている. (※文責: 上原隆矢) 4.6.2 プロセス 前期では大きく分けてプログラム班とデバイス班の 2 つに分けて作業を進めていった. プログ ラム班では processing による脳波データ判定やデバイスについている Arduino のプログラムを用 いて, より専門的な機能を搭載することが決定した. これらのシステムを構成するためには,それ Group Report of 2012 SISP - 34 - Group Number 07-C Mind Communication ぞれに個別のプログラムを用意する必要があった.そのため今回は processing によるプログラム 一人と, デバイスについている Arduino のプログラム一人で担当を分担し,同時進行で作業を進め ていった. またデバイス班は残りの 3 人が担当し, 回路図製作や回路組み立て, ポスター製作など取り掛か れるものから随時作業していった. 回路図製作では, 抵抗の計算を計算して, ペルチェ素子が人肌程 度の温度になるように調整し, 回路図製作をした (図 4.5). 回路組み立てでは, 製作した回路図をも とに, 半田付けを行った. ポスター製作では, 中間発表で使用するポスター, コンセプトシートを製 作し, 発表に見に来てくれる人たちが分かりやすく, 興味をもってもらえるようなポスターにする ように心がけて製作した. 図 4.5 回路図 (※文責: 上原隆矢) 4.6.3 基盤 基盤には, トランジスタを使ったスイッチング回路を作成した. トランジスタとは電流の増幅, ま たスイッチ動作をする半導体素子である. トランジスタにはベース, コレクタ, エミッタと呼ばれる 3 つのピンがあり, 『Natural』では, トランジスタのスイッチング作用を利用して流れる電流を制 御した. Gainer や親機への電流の逆流の恐れを考慮し, トランジスタのベース部分と Gainer の間 に抵抗を組み込むことで安全性を確保した. 基盤に取り付けたものは, トランジスタ, 抵抗, ペルチェ素子, 圧力センサー, 電池である. (※文責: 上原隆矢) 4.7 仕様 『Natural』は, ヘッドセットを使い脳波を読み取り, 解析し, それを相手のツールに温度で表現す るものである. ツールが温かくなると, 相手が集中して自分の話を聞いてくれていることが分かる. Group Report of 2012 SISP - 35 - Group Number 07-C Mind Communication これによって, 相手が真剣に話を聞いてくれていないことが分かるので, 自分も相手にもっと真剣 に聞いてほしいということを伝えることができる. 『Natural』は自分の集中のみ相手に知らせる ツールで, Mindwave で計測できるリラックス, 眠気の状態は一切表示されない. ツールが反応して いない場合は, 相手の脳波の集中の度合いが低い, またはリラックス, 眠気の状態である. (※文責: 上原隆矢) 4.8 ユーザシナリオ 私たちは, 『Natural』がどのような時にどのように使うことができるか考えた. 『Natural』の 目的は, ユーザがこのツールを使うことによって対面, 非対面に関わらず, 自らきちんと相手の話を 聞くように姿勢を整え, より豊なコミュニケーションに変えることである. そこで, 私たちは真剣 に話を聞いてほしい場面, 相談とプレゼンテーションについて考えた. (※文責: 上原隆矢) 4.8.1 相談 電話で友人に相談している場面を考える. 友人は自分の話を聞くことがめんどくさいので, 片手 間で聞き, 適当に相づちを打っていたとする. すると, 友人は真剣に話を聞いてくれていないので, デバイスは反応しない. そこで, 自分は悩みを抱えていて, 相手に真剣に相談に乗ってほしいと伝え る. 友人は自分が真剣に話をしていることを知り, 友人も自分の話をきちんと聞こうとする. この ツールを使うことでお互いが相手と真剣に向き合うことができ, コミュニケーションの質が向上す ると考えられる. (※文責: 上原隆矢) 4.8.2 ビジネス 電話でビジネスのやり取りをしている場面を考える. ビジネス上, 重要なことを相手に知らせる とき, 相手は本当に理解しているのか, 返事だけして適当に相づちをうっているだけなのかは, 分か りづらい. そこで, 自分のデバイスが反応していなかったら, デバイスが反応するまで相手に重要な ことを伝えることができる. そうすることで, ビジネスでの, 重要な事柄のコミュニケーションをと ることができ, コミュニケーションの質が向上すると考えられる. (※文責: 上原隆矢) 4.9 発表 中間発表では, 各 3 グループが違う製作物を製作したため, 各グループに分かれてポスターセッ ションを行うことが決まり, 発表場所はミュージアムで行った. 発表風景は, 図 4.6 に示す. 発表形 式としては, まず各グループで前期に行ったことをポスターを通して発表し, 各グループの発表を ポスターセッションとして行った. 口頭だけの説明だけではなく, 実際にプロトタイプを触っても Group Report of 2012 SISP - 36 - Group Number 07-C Mind Communication らい、どのように動くのかを知ってもらった. 発表練習中, 初めはポスターに書かれている内容を すべて詳しく説明しようとしていたが, プレゼンテーションと違いポスターセッションでは, 人が 次々と来てそのたびに説明を行う必要があるために, 発表の回数を増やさなければならない. その ため, 発表時間はおよそ 1∼2 分で行うように目標を定めた.その短い時間でタイトル, 背景, コン セプト, プロトタイプの機能, ユーザシナリオを伝えないといけないため, 本当に伝えたい内容の要 点のみをまとめて発表することにした. そのため, 発表練習は繰り返し行った. 何度も質疑応答を 繰り返すことによって, 後から来る人の質疑応答もスムーズに行うことができた. 図 4.6 ポスターセッション (※文責: 上原隆矢) 4.10 評価 4.10.1 発表技術についての評価 発表技術について 1∼10 段階で 99 名の人に評価をしてもらった. 全体の平均点は 7.0 点であっ た. 私たちの目標の点数は 8.0 点以上だったので, 目標点数より低かった. コメントとしては, 『何 がやりたいのかが非常によく伝わる発表だった』, 『ポスターとデバイスに分かれていて分かりや すかった』, 『実際に触らせてもらえたので分かりやすかった』などの良いコメントもあったが, 『早口で聞き取りにくかった』, 『どこを話しているのか解らなくなるときがあった』などのコメン トもあり, 反省しなければならないと考えた. (※文責: 上原隆矢) 4.10.2 発表内容についての評価 発表内容について 1∼10 段階で 95 名の人に評価をしてもらった. 全体の平均点は 6.8 点であっ た. 私たちの目標点数は 8.0 点以上だったので, 目標点数より低かった. コメントとしては, 『内容 Group Report of 2012 SISP - 37 - Group Number 07-C Mind Communication が面白かった』, 『今後の発展が楽しみ』などの良いコメントはあったが, 『携帯電話にこだわる理 由が微妙』, 『背景やコンプセプトがあっていない』などの悪いコメントのほうが多かった. また, 『脳波の傾向が一致= 2 人とも集中しているという仮説の裏づけがほしい』, 『温度だけでなく, 振 動や音, 光なども付け加えてもいいんではないか』などのアドバイスもあった. これらの評価につ いてよく考え, 今後生かしていかなければならない. (※文責: 上原隆矢) 4.11 反省 中間発表が終わった後, マインドコミュニケーションのメンバー全員で反省会を行った. 反省の 内容としては, 『発表時間が長い』, 『役割分担や何かあった時の対応などの発表の仕方が悪い』, 『制作物が不十分』, 『スケジュール管理』, 『背景, 目的, コンセプトの考え直し』, 『制作に費や した時間と制作物の完成度が比例していない』, 『プロジェクト時間外での勉強時間が少ない』と いう反省点がでてきた. そして, 今後どのように改善していけばいいか, 改善点についても話し合っ た. 改善点の内容としては, 『計画をはじめにたてる』, 『プロジェクト活動後に各グループごとに 進捗状況を伝え合う』, 『それぞれに役割分担を決める』, 『発表練習に時間を設ける』という改善 点がでてきた. また, グループでも反省会を行った. 反省内容としては, 『背景・コンセプトと製作物が異なっ ている』, 『発表練習の時間が不十分』という反省点がでてきた. そして, これらの反省点を改善す るために, もう一度ブレインストーミングを見直して, 背景とコンセプトを考え直した. また, 製作 に取りかかる時間を計算して発表練習にも時間をとれるような計画を立てて, 後期の活動を行った. (※文責: 上原隆矢) Group Report of 2012 SISP - 38 - Group Number 07-C Mind Communication 第5章 5.1 制作物の詳細 背景 現在のコミュニケーションでは『自分の伝えたい情報が相手に伝わらない』という問題が生じて いる. 『自分の伝えたい情報が相手に伝わらない』状況とは, 自分が真剣に話していることが相手 に伝わらず, 相手にも真剣に話を聞いてもらいたいが聞いてもらえない状況である. 例えば,電話 で私が友人に真剣な相談している時,友人は私の話を片手間で話を聞き, 適当に相づちを打ってい たとする. そうすると,相手は聞き流しているだけなので『自分の伝えたい情報が相手に伝わらな い』という状況が生まれてくる.このようなコミュニケーションが続いていけば話を真剣に聞いて もらえないという不満から相手との関係が希薄になってしまう. そこで, 自分の伝えたい情報が相 手に伝わるようにアシストできるものがあったら『自分の伝えたい情報が相手に伝わらない』状況 を打開できるのではないかと考えた.そこで,自分の意識を可視化し, 相手に伝えることでより真 摯なコミュニケーションを起こさせる『Step Up』を提案する. (※文責: 神田有希) 5.2 問題提起 コミュニケーションツールの提案を行う上で, 現在のコミュニケーションの問題点について考え た. 現在のコミュニケーションツールは, テレビ電話や SNS など 非対面でも多くの情報を伝え合 うことができる. しかし, 非対面の時は対面しているときに比べ, 言葉で表すことのできない非言語 情報は伝わりにくいため, ありのままの自分を伝えずにすむ. 例えば, 電話をしている最中に, 相手 がどんなに真剣に話している最中に自分がテレビを見ながら適当に相づちを打っていても相手には 気づかれにくい. しかし, こういった真摯さに欠ける状態が続いていくと, 真剣に話を聞いてくれな い人とはコミュニケーションの機会も減っていくと考えられる. また, 自分の伝えたい情報が相手 に伝わりにくいため, コミュニケーションの質が下がると考えられる. こうした問題を解決できる ようなツール『Step Up』を使い, このような問題を解決していこうと考える. (※文責: 神田有希) 5.3 問題解決 上記の問題提起でも記載した通り, 非対面のときは, 対面しているときに比べると非言語情報を 伝えるのは難しいと言える. なので, 言葉で伝わらない情報は偽ることができるため, ありのままの 自分を相手に伝えずにすむことができ, 自分を隠すコミュニケーションをとることができるため, お互いに真剣に向き合うことができずに, 真摯なコミュニケーションをとることができないという 問題が生じている. そこで, 『Step Up』を使うことによって, 自分がどれだけ集中して話をしてい るのかを, 相手に伝えることができる. そうすると, 相手もきちんと話を聞こうとういう姿勢にな り, お互いが集中して会話をしているため, よりよいコミュニケーションが生まれると考えられる. Group Report of 2012 SISP - 39 - Group Number 07-C Mind Communication このデバイスはお互いが持っているため, お互いが真剣に会話をしないといけないという意識にな るので, お互い真剣に会話をしようする.それによって, コミュニケーションがよりよいものにな ると判断した. (※文責: 神田有希) 5.4 コンセプト コンセプトは『脳波を用いて豊かなコミュニケーションへ』である. 自分がいかに集中し, 真剣 に話しているのか相手に解る物があれば, コミュニケーションの質が向上すると考えた. このツー ルでは, 自分の集中している状態を相手のツールに光と音で伝える. これにより, 相手が集中して話 しているのか, 集中していないのかを知ることができる. 相手が集中して話している場合を, 真剣に 話していると定義した. その状態を表示し見えるようにすることで, 相手が真剣に話している場合 は自分も真剣に話を聞くようにと, 話を聞く姿勢を整えることができる. これが, 今まで以上に真摯 なコミュニケーションを発生させることができ, 相手との関係もより良好になるのではないかと考 える. (※文責: 神田有希) 5.5 デザイン ツールは, 半透明の白色のアクリル板を用いて2つ製作した. この白色のアクリル板をプラス チックカッターを使い, 正三角形を切り抜いた. この正三角形を 4 枚切り抜き, それぞれの正三角 形のアクリル板を接着剤とジェルでくっつけた. また, 底だけ取り外しができるように, 1 枚だけ くっつけないで, そのままにした. これらを 2 セット製作した. 底だけくっつけなかった理由は, デ バイスの中の乾電池が切れても, 交換できるようにするためと, プレゼンテーション等, 音が鳴ると 邪魔な時のために, スピーカーを取り外し可能にするためである. 三角錐にした理由は, 集中してい るときの脳波は振幅が大きく尖った形(図 5.1)をしているため, それを表すため形は三角錐にし た. 三角錐の内側は空洞になっており, 内側に基盤や arduino などを収納した. 自分の脳波の反応 がどちらにでているかを判別しやすくするために, 2 つのツールの LED ライトの色を分けたので, 一方のツールは青色に, もう一方のツールは緑色に光るように製作した(図 5.2). Group Report of 2012 SISP - 40 - Group Number 07-C Mind Communication 図 5.1 図 5.2 脳波図 Step Up (※文責: 神田有希) 5.6 5.6.1 システム 導入 最終発表で使ったシステムは計測用の Mindwave が 2 台,通信用の PC が 2 台,2 台の PC 間 でデータを送受信するためのワイヤレスネットワークのルータ,双方のデバイスから成り立って いる. Group Report of 2012 SISP - 41 - Group Number 07-C Mind Communication Mindwave は Step Up を使用する人数分用意する.ヘッドセットで測定した各脳波の値が通信 用 PC に送信される.今回のモデルでは 2 つである. 通信用 PC には,グループメンバーが所持する 2010 年度の公立はこだて未来大学の生徒の推奨 機が使用された.この PC には Mindwave により計測された脳波の値を受信し,int 型の変数とし て利用する.その後,無線ネットワークを使って相手側の PC へデータを送信する役割を果たすプ ログラムが搭載されている. 受信する PC には,送られてきた脳波の値を判定し XBee を使ってデバイスに命令を送るプログ ラムが搭載されている. Xbee は通信用 PC の USB ポートに接続された XBee USB アダプターとデバイスに内蔵される Ardino に取り付けられる. Ardino には受け取った命令を処理するプログラムが搭載されている.このプログラムは,処理 にかかる時間を極力減らすため,非常に簡素なものになるように設計した. (※文責: 神田有希) 5.6.2 プロセス 後期では大きく分けてプログラム班とデバイス班の 2 つに分けて作業を進めていった. プログラム班では processing による脳波データ判定やデバイスについている Ardino のプログ ラムに加え,processing によるワイアレスネットワークを使ったデータの送受信やデバイスと PC を独立させるための XBee などにより,より専門的な機能を搭載することが決定した.これらのシ ステムを構成するためには,それぞれに個別のプログラムを用意する必要があった.そのため今回 は processing によるワイアレスネットワークのプログラムに対して一人と PC を独立させるため の XBee の設定作業から組み込みに対して一人割り振り,デバイスについている Ardino に組み込 むプログラムの設計にも一人割り振って担当を分担し,同時進行で作業を進めていった. またデバイス班は残りの二人が担当し,回路図製作や回路組み立て,ポスター製作など取り掛か れるものから随時作業していった. (※文責: 神田有希) 5.6.3 通信部分 通信部分は脳波を獲得するデバイス部分と相手の PC に脳はデータを送信する送信部分,相手の PC からデバイスへ脳波データを送信する送信部分に分けることが出来る.この節では,まずデバ イス部分について述べる.さらに,前期に製作したプロトタイプ『Natural』の通信部分での問題 点,それを解決し『Step Up』の通信システムに至るまでのプロセスも述べる. デバイス部分 デバイス部分は,ユーザーの脳はを獲得し,その脳波データを通信用 PC にデータをワイヤレス で送信するものである.使用したデバイスは,NeuroSky 社の MindWave というデバイスである (図 5.3).プロトタイプから最終製作物まで,一貫してこのデバイスを使用した. Group Report of 2012 SISP - 42 - Group Number 07-C Mind Communication 図 5.3 MindWave このデバイスは,ユーザーの頭部に装着することによって,頭皮表面に出てきた脳はの電気信号 を感知する.感知した脳波は,デバイス内部で解析,数値化し,通信用 PC の USB ポートに接続 された通信モジュールへデータを送信する (図 5.4). 図 5.4 通信モジュール MindWave について MindWave は脳波の数値データを PC に送信する.具体的には,MindWave が脳波の電気信号 を感知,解析し,数値データとして通信用 PC にデータを送信する.データは,通信用 PC の USB ポートに接続された受信モジュールで受信する.PC 内部のプログラムからデータを獲得するに は,localhost 上に起動した ThinkGearConnector というサーバに TCP でアクセスする.獲得し たパケットを解析することで,各周波数帯ごとの数値データ,集中度,リラックス度,瞬き強度, Group Report of 2012 SISP - 43 - Group Number 07-C Mind Communication センサー感度,1 秒間の脳波波形のデータを取り出すことが出来る.数値データは解析された周波 数帯ごとの数値であるため,数値による条件分岐が容易になる. MindWave は,一つの MindWave に対して,PC が一台必要になる.すなわち,同時に使用 する場合は MindWave と PC が同等数必要になる. Natural での通信部分 前期で製作した Natural に脳波の数値データを伝えるには,2 つの手順が必要であった.まず, 脳波を獲得しログデータを出力する.次に,ログデータを Natural のプログラムが読み取り,数値 データを格納する.こうして,Natural に数値データを伝えていた.(図 5.5) 図 5.5 システム1 (※文責: 神田有希) 一つ目の手順では,脳波データを獲得するために,『MindSet data visualizer』[13] と呼ばれ る Windows 向けプログラムを使用した (図 5.6).これは,MindWave からのパケットデータを解 析し,取り出した数値データを TXT データとしてログ出力することが出来るプログラムである. 二つ目の手順は,processing のログデータを読み取れる API を使い直接ログデータを格納し 使用できるようにしました. Group Report of 2012 SISP - 44 - Group Number 07-C Mind Communication 図 5.6 システム2 Step Up でのネットワーク通信部分 後期で製作した Step Up は,前期とは違い脳波の数値データをネットワークで送受信すること が必要であった.と,デバイスをどこにでも置けるようにするために脳波の数値データを PC から デバイスに送る必要があった. Step Up の脳波の数値データをネットワークで送受信方法は,片方の PC にサーバー (ホスト) としての機能を組み込み,それに対してもう片方の PC からデータを送るソケット通信という方法 であった (図 5.7). Group Report of 2012 SISP - 45 - Group Number 07-C Mind Communication 図 5.7 MindSet data visualizer Step Up での XBee 通信部分 後期で製作した Step Up は,デバイスをどこにでも置けるようにするために脳波の数値データ を PC からデバイスに送る必要があった.そこで無線通信モジュールである XBee を利用するこ とにした. XBee はモジュールなので, もちろん, PC やマイコンと接続させなくてはならない. 今 回はマイコン (Ardino) が独立しているため, PC とマイコンの間の通信を執り行わせるものとして 利用した. そのため Step Up の 1 セットあたり XBee モジュールは 2 つ使われた. 対となる 2 つ の XBee は X-CTU という専用の設定ソフトにてモジュールの ID を入力し, お互いを認識できる ように初期設定を施した. XBee の優れた点は低コストや速度に優れることだが, やはり, 短距離通 信モジュールなので, 通信距離としては室内では 30m 屋外では 100m ほどしか期待できない. 上位 互換となる XBeePRO ならば性能は大きく優れており, 室内通信距離は 2 倍, 屋外での通信距離は 10 倍を越えるほどになる. しかし値段の面より今回は見送った. (※文責: 神田有希) Group Report of 2012 SISP - 46 - Group Number 07-C Mind Communication 5.6.4 Step Up システム Step Up の通信部分は,下の図 5.8 にあるように,大きく三つに分けることが出来る.デバイス 部分で獲得してユーザーの脳はの数値データは送信部分で処理され,Step Up の光と音の部分で使 用するデータのみをソケット通信する.送信したデータを判定し,XBee を使い無線でデバイスへ データの送信をしている機能を持たせた. 図 5.8 Step Up システム (※文責: 神田有希) 5.7 仕様 『Step Up』は, ヘッドセットを使い脳波を読み取り, 解析し, それを相手のツールに光と音で表 現するものである. ツールが光って音が鳴ったときに, 自分の話し相手が集中していることが解る. これによって, 相手が真剣に話しているので, 自分も真剣な態度で話を聞く姿勢を整えることがで きる. 『Step Up』は相手の集中のみ知らせるツールで, MindWave で計測できるリラックス, 眠気 の状態は一切表示されない. ツールが反応していない場合は, 相手の脳波の集中の度合いが低い, ま たはリラックス, 眠気の状態である. (※文責: 神田有希) 5.8 ユーザシナリオ 私たちは, 『Step Up』がどのような時にどのように使うことができるか考えた. 『Step Up』の 目的は, ユーザがこのツールを使うことによって対面, 非対面に関わらず, 自らきちんと相手の話を 聞くように姿勢を整えより豊なコミュニケーションにかえることである. そこで, 私たちは真剣 に話を聞いてほしい場面, 相談とプレゼンテーションについて考えた. (※文責: 神田有希) Group Report of 2012 SISP - 47 - Group Number 07-C Mind Communication 5.8.1 相談 電話で友人に相談している場面を考える. 自分は友人の話を課題の合間に片手間で聞き, 適当に 相づちを打っていたとする. しかし, 友人は悩みを抱えていて真剣に話をしているため, ツールが光 と音で友人が真剣に話していることを知らせる. 自分は友人が真剣に話をしていることを知り, 自 分も友人の話をきちんと聞こうとする. このツールを使うことでお互いが相手と真剣に向き合うこ とができ, コミュニケーションの質が向上すると考えられる. (※文責: 神田有希) 5.8.2 プレゼンテーション プレゼンテーションをしている1:多の場面を考える. 発表者はプレゼンテーション野中でも重 要な部分を話す時はより集中すると考えられる. 聞き手は発表者の集中をツールを通して知ること で, 発表者の伝えたいことをより理解しやすくなる. また, 聞き手はプレゼンテーションの内容に よって話に集中する場合と集中しない場合があると考えられる. 発表者は聞き手の集中をツールを 通して知ることで, 発表の仕方を変えることができ, 聞き手にとってより解りやすい発表になると 考えられる. (※文責: 神田有希) 5.8.3 勉強 一人で勉強している場面を考える. これまでの使い方とは違い, 一人で勉強している場合は, 自分 で自分の脳波の状態を知ることができる. 勉強していて, ツールが光っている場合は集中力が持続 しているが, 光っていない場合は集中力が切れているため休憩をとったり, その日の勉強は終わり にしたりなど判断の目安にすることができる. 自分の内面とのコミュニケーションができ, それに よって, 勉強の効率も向上させることができると考えられる. (※文責: 神田有希) Group Report of 2012 SISP - 48 - Group Number 07-C Mind Communication 第6章 6.1 最終発表 評価結果(最終) プロジェクト学習の成果を見せるための最終発表を行った. 最終発表では, 学内だけでなく学外 からも成果を見に来る人が多数訪れた. 私たちは, 発表を見に来た人たちに評価シートを配布し, 発 表技術や発表ないようについてコメントをいただたいた. ここでは,最終発表の評価結果を述べる. (※文責: 石川良) 6.1.1 プレゼンテーション 私たちグループ C の発表は中間発表と同様にポスターセッション形式で行った. 中間発表の評 価結果では良い点として,発表技術では,グループ分けされている,制作物を見ることができる, 詳しく説明できている点が上げられた. 発表内容では,脳波とコミュニケーションをつなげた事, 内容が面白いという点が上げられていた.逆に反省点として,発表技術では,場所がわかりずら い,A・B・C のどれがどの班かわからない,ほかのグループと声がかぶって聞き取りずらいとい う意見があった.発表内容では使用場所や場面の例が欲しい,色に意味を持たせたほうが良い,見 せたくない感情や違う感情のときにどうするのかの意見があった.以上の良い点と反省点を活か し,私たちは最終発表に向けてプレゼンテーションの準備を行った. 最終発表の発表形式は, 中間発表と同様にポスターセッション形式で行った.提案デバイスの説 明は長い説明を話し続けるのではなく,私たちが一番伝えたい内容を端的に説明した.説明の順序 は,最初にデバイスのコンセプト.次に,私たちが提案したいこと,デバイスの簡単なシステム, デバイスを使うとどんな良いことが生まれるのか, コミュニケーションはどう変わるのか,ユー ザーシナリオを説明し,説明が終わった後に質疑応答を行った.提案したい事を説明する際には, 実際に脳波を測定してデバイスを動かし,ユーザーシナリオを絡めながら説明をして,聴いている 方々がどんなデバイスなのかイメージしやすくするように工夫することによって, 私たちの提案す るデバイスに納得していただけるように心がけ,説明を行った.質疑応答では,中間発表での評価 結果を活かしスムーズに行えるようにした. これらの準備と工夫をし,私たちは最終発表のプレゼンテーションを行った.結果として十分に 成功したといえるプレゼンテーションになっていたと思う.私たちの提案に多くの人が興味を持っ ていただき納得してくださったと思う.さらに,質疑応答でも多くの疑問質問をしていただいた が,これらにも私たちは円滑に回答でき,質問してくださった方々に納得していただくことができ た.さらに,実際にデバイスを見ていただいた際には興味を持ってデバイスに触れてもらえただけ ではなく,非常に面白いという声もいただいた.したがって, 来場していただいた多くの方々には 満足していただいたと考えている.しかし,すべての人に納得していただいたり,楽しんでいただ けたわけではないと考える.私たちの説明を聴いていただいた際に疑問を残したままその場を去っ てしまった方々も少数人いた.実際に,評価結果として『コミュニケーションの質が向上した状態 とはどういう状態?』というコメントをいただいた.これは私たちの発表がいたらなかったところ もあったたえ,疑問を持ったまま去ってしまった方々が納得できるような説明ができていなかった Group Report of 2012 SISP - 49 - Group Number 07-C Mind Communication からと考えられる. 次に発表の機会があるときには最終発表で行った発表で明確になった改善点をもとにより良い発 表を作り上げ,説明した段階で聞いている方々に疑問が残らず完璧に納得していただける説明を行 えるように準備したいと考える. (※文責: 石川良) 6.1.2 製作物 私たちは,自分の意識を相手のデバイスに可視化し,お互いの会話の質を高めるようなコミュ ニケーションツール『Step Up』を提案した (図 5.1).『Step Up』とは,ヘッドセットで脳波を測 り,自分の集中, いわゆるβ派の度合いが高まると,相手のデバイスが光って音が鳴るツールであ る.また,この『Step Up』はネットワークを利用しているため, 遠距離でも利用することができ る. 自分のツールに可視化されるのは相手の脳波状態,つまり相手が集中しているということを自 分が知ることができる.例えば, 電話をしている時にそのツールが光っていると, 『相手が今大事な 話をしているのかな』と感じ取ることが出来る.そしてそれによって, 『相手が真剣に話している から, 自分もちゃんと話を聞こう』と話を聞く態度を正すことができる. 他にもプレゼンテーショ ンを行う際それをつけて発表する事で,発表者は聞き手のデバイスを見て発表の仕方を変えること が出来き聞き手は発表者の伝えたいポイントが分かる様になっている. (※文責: 石川良) 6.2 フィードバック 最終発表では中間発表と同様, ポスターセッションで行った. また, 評価シートを配布し, 発表内 容と発表技術について聴取に評価してもらった. 評価シートに記入されたコメントについて考察を した. 発表技術 • 発表を聞いただけで伝わった • 質疑応答がしっかりしていた • 説明が丁寧でわかりやすい • 原稿を見ているのが気になる • 声が聞き取りづらい • 聴衆が増えたときの対応ができていない 発表内容 • デバイスがしっかりつくられている • 手軽に使えるなら使いたい • PC だけでなく携帯でも使えると良い • 活動内容の発表を増やした方が良い • 実用例が少ない • 他のグループとの違いがわからない Group Report of 2012 SISP - 50 - Group Number 07-C Mind Communication 上記のコメントから, 発表技術について行った. ポスターセッション形式の発表は, 賛否両論であっ た. ポスターセッション形式にすることで, 一人一人に対する説明は丁寧できていたが, 1回の説明 に時間がかかってしまい他のグループが見れないというコメントがあった. 発表を聞いている人が 少ない場合は丁寧に説明できて良いが, 聞いている人が多くなればなるほど, 後方の人たちは発表 者の声が聞き取りづらかったり, 説明を受けづらくなることが想定されるので, 人数に合わせた発 表の方法を考える必要があった. また, 原稿を見ながら発表しているのが気になるというコメント が多く寄せられた. これは, 事前に発表練習を行っていれば解決できた問題であったので, スケー ジュール確認をしっかり行い発表練習の時間を取る必要があったと反省した. 次に発表内容について考察を行った. 成果物が実際に脳波を測定して, ツールが動く段階まで完 成していたため, 発表を聞いている人たちが興味を持って話を聞いてもらえたと感じた. また, 内容 が解りやすかった, 納得できたといったコメントが挙げられたのは, 問題提起やコンセプト, システ ムについてを重点的に説明していたため, 私たちの提案をしっかり伝えられたからだと考えられる. しかし, 使うシーンが想像できない, 実用的ではないといったコメントがあった. これは, ユーザシ ナリオが具体的に説明できていなかったためと考えられる. また, 脳波から得られる情報パターン に左右され, 集中やリラックス, 睡眠を使ってしか提案できていなかったため, 実用的ではない, 他 のグループとの違いわからないといったコメントが挙げられたと考えられる. 生体信号は脳波だけ ではなく, 心拍, 筋電など様々なものがあるのでこれらも上手く組み合わせたり, 将来性を考えて PC だけではなく携帯でも使えるものを提案した方がが良かったのではないかと反省した. (※文責: 石川良) 6.3 リフレクション 中間発表では、『コンセプトとプロトタイプが合っていない』、『本当にそのツールがあったらコ ミュニケーションはかわるのか』などといった意見が多く挙げられていた。そのフィードバックを 活かし、最終発表ではコンセプトや提案したツールを大幅に変え成果発表を行った。結果として、 中間発表とは違い、『面白い』、 『使ってみたい』といったコメントをもらえることができた。これ は、中間発表でもらった意見から活かすことができたからこそ、最終発表で肯定的な意見をもらえ たと言える。また、中間発表の意見を活かせたことによって中間発表自体を有意義な物にできたと も言える。しかし、発表練習が不足していたりなど、自分たちの発表を完璧にするための努力が足 りていなかったため、『わかりづらい』という意見が挙げられたと考えられる。自分たちの製作し たものを完璧な状態で発表できるよう準備をする必要があったといえる。 (※文責: 石川良) Group Report of 2012 SISP - 51 - Group Number 07-C Mind Communication 第 7 章 今後の課題と展望 7.1 製作物に関連して 私たちは,自分の意識を相手のデバイスに可視化し,お互いの会話の質を高めるようなコミュニ ケーションツール『Step Up』を提案した (図 5.1).『Step Up』とはヘッドセットで脳波を測り自 分の集中, いわゆるβ派の度合いが高まるとデバイスが光って音が鳴る. またこの『Step Up』は ネットワークを利用しているため遠距離でも利用することができる. 自分のツールに可視化される のは相手の脳波状態つまり相手が集中しているということを自分が知ることができる. 電話を行う 際そのツールが光ることで『今は大事な話をしているのかな』と感じ取ることが出来まる. 他にも プレゼンテーションを行う際それをつけて発表する事で, 発表者は聞き手のデバイスを見て発表の 仕方を変えることが出来き聞き手は発表者の伝えたいポイントが分かる様になっている. これが私たちの最終目的であったが最終発表のコメントで新たな課題が生まれた. コメントの課 題として『実用例が少ない』, 『脳波の種類によっての色の違い』,『脳波の強弱によっての光の度合 い』が上げられる.また,今後このデバイスをさらに発展させていくならば以下のような改善点が 望まれる. • 実用例が少ない 私たちはリフレクションを行わなうことを忘れており,実際に使用してみての感想などを とることはできなかった.なのでリフレクションを行い考えた実用例と違った実用例が出て くると信じている. • 脳波の種類によっての色の違い 今回は片方を青,片方を緑としており双方分かりやすくするために区別しました.また, 今回は脳波の集中という度合いしか使用していないので,他の脳波の種類を入れる場合に色 の違いを追加する. • 脳波の強弱によっての光の度合い 今回は脳波の集中がある一定を超えるとただ光るようになっていたので脳波の度合いで光 の度合いも変化するプログラムを追加する. • 脳波の情報を送るときのタイムラグ 現状では脳波を送る際サーバを経由しているためにタイムラグが起きてしまう.このタイ ムラグは現状では打開策が見つからないのでなので数秒間の脳波の平均を取り,図った秒数 分だけ相手に送ることでタイムラグの緩和になるのではないかと考えられる. • 脳波を細かく解析して判定する機能,及びそれに応じた表現の追加 今 回 の デ バ イ ス で は 集 中 状 態 し か 表 現 し な か っ た が ,MindWave で は 10 種 類 の 脳 波 (Delta,Theta,Low Alpha,High Alpha,Low Beta,High Beta,Low Gamma,High Gamma,Attention,Meditation) が計測できる.今後は現在使ってない 9 つの脳波を使いそ のに応じて表現を追加していく. • 脳波の各状態の度合いを計算する機能と,その度合いに応じてそれぞれの表現に段階的な表 現の追加 今回のデバイスでは脳波の集中の度合いによって光と音を発する機能が搭載されていた. Group Report of 2012 SISP - 52 - Group Number 07-C Mind Communication この度合いを測定する機能をさらに向上されることによって細かな相手の状況が分かるよう になると考えられる. • 脳波以外に心拍などの生体信号を計測し,それに応じた表現を追加する 心拍などの生体信号を導入できれば表現が多彩になり,コミュニケーション向上にも大き な影響があることが想像される. • 複数の利用者がいる場合 複数の利用者がいる場合,相手に自分の情報を送ることはできないので自分の前に置いて 相手に見てもらうようにしてもらう必要がある. • ソースコードの簡略化 今後の機能の追加によりプログラムが複雑化していく可能性があるため,ソースコードの 簡略化が必要になってくる.このため,プログラミング作業知識をさらに深めることによっ て,プログラム全体を整理し簡潔な内容のプログラムにしていく必要がある. • PC との独立 現状では,PC を起動しなければ使えないので不便である.PC を起動しないで使用する 方法としては,脳波のデータを直接デバイスに送ることができれば,遠距離ではなくて対面 のみで PC を使わずに使用することが可能である.もし遠距離でも使えるようにするには, PC ではなく携帯などの何かしらの送受信機が必要である. (※文責: 石川良) 7.2 全体の展望 前期においては,調査,実験・解析,技術習得,提案,実装,発表までに一連の流れを出来たが, 時間に追われコンセプトや提案を裏付ける調査,ツールでのつかいたくなる要素などをより深く 詰める必要があった.中間発表では,実際に実装し,様々な人に体験してもらえたため,より多く の人から具体的な感想・意見を得られた.また,作業を分担をして行っていたのでお互いの進路確 認やそれぞれの考えを統一することがとても重要なことだと感じた.後期においては,前期の反省 を活かし,スケジュール管理をしっかり行い,話し合いに時間をかけることが出来たため,よりス テップアップした提案・発表を行うことが出来た. C グループの製作物である”Step Up”は『脳波を用いて豊かなコミュニケーションへ』をコ ンセプトとして,自分の意識を可視化することによって,より真摯なコミュニケーションが出来る と考えた.相手の, 自分ではコントロールできない脳波情報を受け取り,それを表示し見えるよう にすることで自分の伝えたい情報が相手に伝わりやすくなることができるコミュニケーション向上 ツールを提案した.”Step Up”は一対一で使用する.自分のデバイスには相手の脳波情報が音と 光で表現した.”Step Up”はデータの送受信にサーバを立てて,そのデータを XBee を使いデバ イスに無線でデータを送信した.また,脳波状態は集中の度合いを使用し,集中度合いが一定の値 を超えると音が鳴り光るように表現される. 最終発表では,各班のブースを作成し,そこで私たち C グループは説明者が実際に”Step Up” を使用しながら発表を行った.また,各自訪れた人にポスターや製作物を用いて説明する形をとっ た,しかし,一回に説明する人数に限りがあったり,時間がかかることから,すべてのグループを 見たくても,時間が足りずきちんとした説明を受けることが出来なかった,隣のグループの発表が 気になるという意見も見受けられた.発表形式については今後,改善すべき点の一つである.ま Group Report of 2012 SISP - 53 - Group Number 07-C Mind Communication た,ポスターは説明することを前提に作られており,重要なところしか記載されていないので,ポ スターのみを見た人にとっては分かりやすいポスターであるとは言い切れない.そのために,より 詳細な説明を加えたポスターの製作も検討すべきである. また,私たちが作った製作物”Step Up”についてもっと沢山の人達に知ってもらえる機会がも てたらとも考えている.より多くの人に知ってもらえるように,発表会や展示会などに出展し,発 信していきたい. (※文責: 石川良) Group Report of 2012 SISP - 54 - Group Number 07-C Mind Communication 付録 A 付録 送信側のプログラム import processing.net.*; import java.util.*; import neurosky.*; import org.json.*; Client client; String input; int data[]; // ThinkGear と接続するオブジェクト ThinkGearSocket neuroSocket; //脳波データ格納 int attention = 0; int meditation = 0; int del; // The "delta" band of EEG. range: 0.5 - 2.75Hz int the; // The "theta" band of EEG. range: 3.5 - 6.75Hz int align = 100; //---------------------------------------------------void setup() { size(450, 512); background(204); ThinkGearSocket neuroSocket = new ThinkGearSocket(this); try { neuroSocket.start(); } catch (ConnectException e) { //println("Is ThinkGear running??"); } stroke(0); frameRate(5); //client = new Client(this, "localhost", 55718); client = new Client(this, "192.168.1.20", 55718); } Group Report of 2012 SISP - 55 - Group Number 07-C Mind Communication //----------------------------------------------void draw(){ //if (mousePressed == true) { client.write(attention + "," + meditation + "\n"); //} /*if (client.available() > 0) { input = client.readString(); input = input.substring(0, input.indexOf("\n")); data = int(split(input, ’ ’)); }*/ background(0); fill(255); float now_atn = 0; float now_med = 0; text("IPadress = 192.168.1.21", 70, 50); text("port = 55718", 300, 50); text("集中", 113, height - 50); text("リラックス", 296, height - 50); fill(0, 180, 250); noStroke(); now_atn += (attention - now_atn) / 10; rect(100, 452 - (now_atn * 30), 50, now_atn * 30); now_med += (meditation - now_med) / 10; rect(300, 452 - (now_med * 30), 50, now_med * 30); } //---------------------------------------------void poorSignalEvent(int sig) { text("SignalEvent "+sig, 10, 50); } public void attentionEvent(int attentionLevel) { text("Attention Level: " + attentionLevel, 10, 60); attention = attentionLevel; } void meditationEvent(int meditationLevel) { text("Meditation Level: " + meditationLevel, 10, 70); meditation = meditationLevel; Group Report of 2012 SISP - 56 - Group Number 07-C Mind Communication } void blinkEvent(int blinkStrength) { text("blinkStrength: " + blinkStrength, 10, 80); } public void eegEvent(int delta, int theta, int low_alpha, int high_alpha, int low_beta, int println("delta Level: " + delta); println("theta Level: " + theta); println("low_alpha Level: " + low_alpha); println("high_alpha Level: " + high_alpha); println("low_beta Level: " + low_beta); println("high_beta Level: " + high_beta); println("low_gamma Level: " + low_gamma); println("mid_gamma Level: " + mid_gamma); del = delta; the = theta; } void rawEvent(int[] raw) { println("rawEvent Level: " + raw); } //-----------------------------------------------void stop() { neuroSocket.stop(); super.stop(); } 受信側のプログラム import processing.net.*; import processing.serial.*; //サーバー Server server; //Xbee 用の宣言 Serial port; void setup() { // 画面設定 size(400, 400); Group Report of 2012 SISP - 57 - Group Number 07-C Mind Communication smooth(); //サーバーのポート番指定 server = new Server(this, 55718); //「XBee Explorer USB」のシリアルポート設定 port=new Serial(this,"COM13",9600);//COM ポートは必要に応じて変更すべし } void draw() { //通信の有無で分岐 text("相手側の脳波", 160, 50); rect(120, 120, 160, 160); Client client = server.available(); if (client !=null) { String input = client.readString();//入力データ格納 //入力データを区切りごとに分割 int data[]; data = int(split(input, ’,’)); //閾値以上ならば //ここで data[0] は集中、data[1] はリラックス float now_atn = 0; fill(0, 180, 250); noStroke(); now_atn += (data[0] - now_atn) / 10; rect(200 - (now_atn * 10), 200 - (now_atn * 10), now_atn * 20, now_atn * 20); if(data[0]>50){ //動作の命令を送る port.write(’1’); //「1」を送信(点灯) }else{ port.write(’0’); //「0」を送信(消灯) } } if (keyPressed == true) { //「1」を送信(点灯) port.write(’1’); }else if(keyPressed == false){ port.write(’0’); //「0」を送信(消灯) } } Group Report of 2012 SISP - 58 - Group Number 07-C Mind Communication 参考文献 [1] 心拍とは-介護 110 番 (http://www.kaigo110.co.jp/word/%E5%BF%83%E6%8B%8D) [2] 心拍計-Wikipedia(http://ja.wikipedia.org/wiki/%E5%BF%83%E6%8B%8D%E8%A8%88) [3] 汗-Wikipedia(http://ja.wikipedia.org/wiki/%E6%B1%97#.E7.B5.84.E6.88.90) [4] hyoudai(http://www.gifu-nct.ac.jp/elcon/labo/usui/nakamura/room02/kindeni01.htm) [5] 脳波-Wikipedia(http://ja.wikipedia.org/wiki/%E8%84%B3%E6%B3%A2) [6] necomimi(http://jp.necomimi.com/about.html) [7] 【脳のお勉強会】 - 脳の知識を身につけましょう! (http://www.brain-studymeeting.com/) [8] すべらない話 (http://www.youtube.com/watch?v=Yk8RpLiIPhQ) [9] 小林茂. Prototyping Lab. オーム社, 2010. [10] 始める電気回路 (http://www9.plala.or.jp/fsson/NewHP elc/elc/elc 3 7Tr2sw.html) [11] エミッタ接地回路の基礎 (http://www.geocities.jp/a story of circuits/html/2 1 emit/2 1 8 basic of switch.h [12] Cultivation 04: Arduino + サウンド (https://sites.google.com/site/mathrax2011sound/page01-1) [13] Cultivation 04: Arduino + サウンド (https://sites.google.com/site/mathrax2011sound/) [14] スイッチサイエンス マガジン (http://mag.switch-science.com/) Group Report of 2012 SISP - 59 - Group Number 07-C
© Copyright 2025 Paperzz