1

公立はこだて未来大学 2013 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2013 System Information Science Practice
Group Report
プロジェクト名
マインドコミュニケーション
Project Name
Mind Communication
グループ名
グループ A
Group Name
Group A
プロジェクト番号/Project No.
21-A
プロジェクトリーダ/Project Leader
1011068
上田進太郎
Shintaro Ueda
グループリーダ/Group Leader
1011130
倉崎隆城
Takaki Kurasaki
グループメンバ/Group Member
1011068
上田進太郎
1011081
松本大樹
1011097
杉尾千芙未
1011098
杉本識吏
Satoshi Sugimoto
1011130
倉崎隆城
Takaki Kurasaki
Shintaro Ueda
Daiki Matsumoto
Chifumi Sugio
指導教員
佐藤直行 岡本誠
中田隆行
伊藤精英
花田光彦
Advisor
Naoyuki Sato Makoto Okamoto Nakata Takayuki Kiyohide Ito Mitsuhiko Hanada
提出日
2014 年 1 月 15 日
Date of Submission
Janualy 15, 2014
概要
本プロジェクト,MindCommunication では脳波と音を利用した, 新しいコミュニケーション
ツールの開発が目的である. グループ A の「新しいコミュニケーション」の定義とは, 普段は
目に見えない「脳波」を利用し, それを可視化・音声化することで他者と新しい関わり方を見
出すことである. この数ヶ月で私たちは脳波や音についての基礎知識を身につけ, 脳波の種類
や音が人間に与える効果についてなどを学んだ. 既存の製品や研究を調査し, それがどのよう
な技術を使用しているのか, その中で今後の糧になりそうな技術はないかなどを検討し, 抽出
した. さらに, ブレインストーミングで「日常生活における他者との問題」を掘り起こし, その
解決法を考えた. 具体的な問題として,「コミュニケーションを上手くとることができないこ
と」や「集中や安静などの状態は実際にわかりにくいこと」などが挙げられた. 解決法として
「脳波の視覚化」が挙げられた. その中でグループ A は「NoticeVoice」という制作物を提案
した.NoticeVoice はユーザーの集中度合いを, 声を変化させることによって知るというツール
である. NoticeVoice は, 声をα波(安静)とβ波(集中)の割合によって変換する. α波の割
合が多い場合は声が低く, β波の割合が多い場合は声が高くなる. α波とβ波の割合にあまり
差がない場合, 声は変化しない. この3段階の声の変化を指標にユーザーは脳波の状態を知る
ことができる. このツールはユーザーが一人の場合, 自分の声で自分の状態を知ることができ
る. また, ユーザーが複数人の場合はユーザーの状態が分かるだけではなく, 会話の新しい形が
生まれるかもしれない. このツールの実装のために,MindWave・Processing・MAX を使用し
た. MindWave は脳波の測定と解析に使用し,Processing は解析した数値を元に状態を判断し
た. そして,MAX を用いて声の変声と出力を行う. このツールによって脳波の聴覚化が実現さ
れ, 普段の生活で「脳波」という目に見えないものをより身近に感じることができ, 脳波が日常
で使用されることへの発展が期待できる.
キーワード
脳波, 音, リズム, コミュニケーション
(※文責: 上田進太郎)
-i-
Abstract
Abstract The purpose of mind communication project is to develop new communication
tool using sounds and EEG. Group A think that definition of ”new communication” is
to create a new way of relationship with others by transforming usual invisible ”brain
waves” into visual and auditory outputs. We learned the basic knowledge about sound
and brain waves, and the effects of sound and EEG have on humans. We also investigated
available research and existing products on related fields. We studied the technology
that we might to be of benefit for the future in it. In addition, we brainstormed about
”problem with others in everyday life”, and came up with the solution. As concrete
problem, it was mentioned ”communication can not be well” and ”it is difficult that
to know conditions such as concentration and rest” and etc. ”Visualization of brain
waves” was mentioned as a solution. Group A proposed productions of ”NoticeVoice”.
NoticeVoivce is a tool to know how concentrated the speaker is by change of voice pitch.
NoticeVoice converts the voice by the percentage of α wave (concentration) and β wave
(rest). Voice becomes low when the ratio of α wave is often. Voice becomes high when
the ratio of β waves is often. If there is no much difference in the ratio between the
α wave of β wave, voice does not change. The user can know the state of the EEG
by changes in the voice of the three phases. In the case of one person, this tool is
possible to know the own state by his own voice. In addition, In the case of multiple,
new form of conversation may bring. For the implementation of this tool, we used the
mindwave, Processing and MAX. mindwave is used for measurement and analysis of
brain waves. Processing judged the state based on the numerical value of the analysis.
And, MAX was used to manipulate the sound. This tool can be realized hearing of
the brain waves. We can feel more familiar ”brain waves” in everyday life, and can be
expected to development of brain waves that are used in day-to-day.
Keyword
EEG, sound, rhythm, communication
(※文責: 上田進太郎)
- ii -
目次
はじめに
1
1.1
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
到達目標課題
2
課題設定までのアプローチ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
先行事例調査 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
目標課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
問題解決のプロセスと概要
6
脳波と音についての講義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
3.1.1
脳波の講義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
3.1.2
音の講義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
3.1.3
音楽の講義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.2.1
脳波の実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.2.2
音楽の実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.3
講義と実験のまとめと今後の方針の決定 . . . . . . . . . . . . . . . . . . . . . . .
12
3.4
制作物のプラン作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.4.1
ブレインストーミング . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.4.2
KJ 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
3.4.3
コンセプトシート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
デバイスの習得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
第1章
第2章
2.1
2.1.1
2.2
第3章
3.1
3.2
3.5
第4章
3.5.1
MindWave
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
3.5.2
Max . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.5.3
Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
3.5.4
Arduino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
3.5.5
Bluetooth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
3.5.6
Kerovee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
3.5.7
はんだづけ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
中間発表
23
4.1
ポスター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
4.2
製作物「NoticeVoice」
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
4.2.1
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
4.2.2
コンセプト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
4.2.3
システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
4.2.4
仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
- iii -
4.3
発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
4.4
評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
4.5
反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
4.6
後期に向けて . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
制作物の詳細
31
5.1
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
5.2
コンセプト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
5.3
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
5.4
システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
5.5
仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
5.6
制作について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
5.6.1
変声プログラムの構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
5.6.2
内装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
5.6.3
スピーカーとアンプの組み立て . . . . . . . . . . . . . . . . . . . . . . . .
35
5.6.4
外装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
5.6.5
発生した問題と解決策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
各自の役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
5.7.1
倉崎隆城 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
5.7.2
上田進太郎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
5.7.3
松本大樹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
5.7.4
杉尾千芙未 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
5.7.5
杉本識吏 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
第5章
5.7
5.8
第6章
ユーザーシナリオ
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
5.8.1
日常会話 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
5.8.2
プレゼン練習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
5.8.3
謝罪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
5.8.4
ゲーム(ポーカー) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
5.8.5
パーティ(握手) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
5.8.6
講義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
最終報告
43
6.1
全体発表の評価・反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
6.2
GroupA の発表について評価・反省 . . . . . . . . . . . . . . . . . . . . . . . . .
43
6.2.1
GroupA の制作物について評価・反省 . . . . . . . . . . . . . . . . . . . .
44
6.2.2
GroupA の発表について評価・反省 . . . . . . . . . . . . . . . . . . . . .
45
6.2.3
GroupA 全体の評価・反省 . . . . . . . . . . . . . . . . . . . . . . . . . .
45
ポスター制作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
第7章
今後の課題と展望
48
7.1
今後の課題と展望
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
48
7.2
全体の展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
Processing のソースコード
51
6.3
付録 A
- iv -
参考文献
54
-v-
Mind Communication
第1章
1.1
はじめに
背景
現在, 人間の脳波からはっきりわかることが存在する. それは, ある帯域の脳波が多く出現すると.
ある状態であると定義づけられることである. 例えば, α波 (8Hz 14Hz) が多く出現すると, 人はリ
ラックス状態であるといえる. また, β波 (14Hz 30Hz) が多く出現すると, 人は集中していると言
える. このふたつの例は現在最もわかりやすい脳波からわかる状態なのである. 既存の製品はほと
んどがこれらの脳波を使用したもので, 構成されている. 脳計測の工学応用は近年注目されており,
脳波マウスやマインドセットなどの乾式脳波センサが市販されている. これらセンサは可搬性・利
便性に優れており, ゲームのコントローラなどにも使われている. とはいえ, まだその数は多いとは
言えず, あまり大衆に認知されているとも言い難い. 脳波は人間の無意識下で変動するもので, 最も
正直なその人の「声」のひとつだ. そこで私たちはその脳波を使用した制作物を作ることで, より新
しいコミュニケーションをとれるのではと考えた. 今回, 私達は「脳波と音」というテーマの中で,
人間の発する「声」に着目した. 人間の声は様々なシュチュエーションで活躍し, 人とコミュニケー
ションをとるための方法の一つだ. その中で脳波と声を合わせることでもっと斬新なコミュニケー
ションの形をとれるのではないかと考えた. そこで私達は声に人間の脳波を乗せることで, 人間の
思考や態度とはまた別の, 人間が自然に発している脳のシグナルを知ることができるのではないか
と考え, そうすることで, 会話に新たな要素が加わり, ひとりのときでも, 複数人のときでも新たな
発見ができるのではないかという結論に至った.
(※文責: 上田進太郎)
1.2
目的
本プロジェクトでは脳波と音を利用した新しいコミュニケーションツールの開発が目的である.
「新しいコミュニケーション」の定義は, 普段は目に見えない「脳波」を利用し, それを可視化・音
声化することで他者と新しい関わり方を見出すことである. 本プロジェクトで使用する技術は主
に,Processing・MAX・Arduino などがあり, メンバーが初めて操作するものばかりだ. そこで, 必
要になってくる技術力を自分たちで養うことで, メンバーのスキルアップを目指す. 後期のプロ
ジェクト活動では, 制作物を完成させ, 試験的な操作ができるレベルまでの段階に課題を設定した.
その具体的なプロセスは, まず, 制作物のコンセプトや背景の考案をすること. 外装と内装の設計を
考え, 制作物をイメージしたものに近づけていくこと. 設計を確立させ, 必要な材料を揃えることな
どがある. また, これらの作業と同時進行で, 自分たちのスキルアップができるよう, 専門的な知
識を各自で身につけられるように適材適所で役割分担をした. スキルアップの目標は, 制作するにあ
たって必要な知識を身につけることだ. そうすることによって, このプロジェクトグループ内のメ
ンバー全員が自分に与えられた課題をしっかり認識し, 一丸となって制作物に取り組めると考えた.
(※文責: 上田進太郎)
Group Report of 2013 SISP
-1-
Group Number 21-A
Mind Communication
第 2 章 到達目標課題
2.1
課題設定までのアプローチ
私たちはまずプロジェクト全員で,プロジェクトリーダー,サブリーダーを決めた.その後 A,
B,C グループと 5 人ずつのグループに分けを行い,各グループでグループリーダーを決めた. 「MindCommunication」では脳波を用いたコミュニケーションツールを製作するので,今までの
脳波の研究について調べる必要があった.そこで各グループごとに脳波について先行事例調査を
行った,先行事例調査により,今までどのような脳波を使った製品が作られてきたか,今までの事
例のいいところ,悪いところや脳波を使ってできる事,できない事などを知った.
しかし,私たちは自分たちに脳波についての知識がなかったことに気づき,脳波の知識をつける
ために脳波についての講義を受けた.また私たちは、脳波と音を使ったツールの制作を目指してい
るので,音についての知識の習得も行った.さらに脳波の知識を深めるためにプロジェクト内で脳
波実験班と音楽実験班に分かれて作業を行った.脳波実験班では,選出された被験者が,いろいろ
な条件下での脳波を測定し,析を行った.音楽実験班では,選出された被験者がどのような状況で
どのような音楽を聴きたいか調査した.最後に各班それぞれ行った実験の結果をプロジェクト内で
プレゼンテーションを行った.
このように脳波と音に関する知識を深めた後,どのように脳波と音を用いてコミュニケーション
するかについてブレインストーミング,KJ 法を用いてコンセプトを固めた.それをもとにコンセ
プトシートを作成して,プロジェクト内でプレゼンテーションを行い評価してもらうことで,前期
での製作物を考えた.
中間発表はポスターセッションを行い,見に来てくださった方々とより深く意見の交換ができた
が,時間が足りず,うまく時間配分できなかったので,すべてのグループの発表を見てもらうこと
ができないという問題があったので、発表の仕方に工夫が必要と考えた.
後期では中間発表のアンケート結果や,中間発表での意見交換によって得られた意見を用いて,
今後の目標を決定した.私たちのグループでは,得られた意見をもとに問題点やどうする事でより
よくなるか,どこがよかったのかなどを話し合い,コンセプトや製作物の詰め直しを行い,より細
かい目標を立てる事で製作物を作る際に役立つようにした. 最終発表でも,中間発表と同じくポ
スターセッションでの発表を採用した.中間発表の際に,たくさんの質問があったがすべてに答え
ることができなかったので,想定外の質問に対しても答えられるように知識を深め,自分たちが
作った製作物のコンセプトなどの細かな設定などを突き詰める事で土台のしっかりした製作物にし
た.中間発表のときとは違う場所での発表であり,製作物も各グループでより規模が大きく音が大
きなものとなっていたので,お互いのグループの発表の邪魔になることが予想されたので,音量の
調節,配置などを工夫した.
なおプロジェクトの意味や根底についての様々な疑問,戸惑いが個人及びグループ内,またはプ
ロジェクト全体から問題視されていく事が考えられた.そこで,その問題解決と共に成果物を各グ
ループ一つずつ作ることとし,私たちが行っている「MindCommunication」というプロジェクト
において,プロセスや背景,目的に基づいて製作物を作ることをすべての本プロジェクトとし,こ
れらの実践を行うことでこのプロジェクトを進めていった.
Group Report of 2013 SISP
-2-
Group Number 21-A
Mind Communication
(※文責: 杉本識吏)
2.1.1
先行事例調査
本プロジェクトでは,脳波と音を用いたコミュニケーションツールの制作をするので,私たちは
世間でどのようなものが,どこでどのように使われているのか,また今までの脳波の研究について
どのようなものがあるかを知る必要があると考え,これからの目標を達成するために必要な知識を
得るために先行事例調査を行った.特に GroupA で挙げられた先行事例を説明していく.
アルファテック IV
開発者である志賀一雅氏が開発した装置にアルファテック IV という装置がある.アルファ
テック IV[4] は,ミッドα波という脳波を強化するのに適したバイオフィードバック装置で
あり,リラックスかつ集中している時の状態の時にバイオフィードバック音で知らせてくれ
る装置である.よってこのアルファテッ IV を装着し,繰り返し計測・練習することで,自
分がどのような時にミッドα 波が多く計測されるのかを知り,繰り返し計測・練習するこ
とで体に覚えさせる事ができるので,ミッドα波が多く計測される心の状態や行動を再現で
きるようになることができる. 使用方法は様々な方法がある.例えば,日常生活において
リラックス度合いをアルファテック IV で測り,ストレスを抱えやすい人がリラックスをす
るための補助をすることができる.また,勉強やスポーツ・仕事など本番で実力を発揮でき
ない人はアルファテック IV でリラックスかつ集中している時の状態を体に覚えさせ,さら
に,その本番の状況を,目を閉じて想像・イメージし,ミッドα波が出るようにトレーニン
グすることで,本番での集中力の強化をすることができる. また,特徴も何個かある.ま
ず簡単に脳波が測定できるという点である.通常の脳波測定だと頭部に数十か所の電極を装
着しなくては測定できないが,この装置は 3 箇所で正確な測定ができ,さらに USB でパソ
コンに接続すると脳波分析が可能である.次に小型で軽量という点でである.スポーツ選手
など,遠征先でも使えるように小型,軽量にして持ち運びがしやすく,単三電池 4 個で作動
するので電源の取りにくい場所での使用も可能である.また,測定結果がわかりやすい と
いうのも特徴である.数値表示により,測定時間,α波の強さ,測定時間における波の出力
時間がリアルタイ ムでわかり,電極の接触不備状態,額の筋肉の緊張も表示されるので正
確に計測できているか確認する事ができる.ミッドα波に関しては 1 秒毎に計測し,その強
度が一定の基準を超えるとバイオフィードバック音が鳴るようになっている.最後に PC と
接続すればさらに詳測定が可能 という点である.データ保存機能を備えていないが、パソ
コンと本体とを USB ケーブルで接続することで,パソコンの画面上で脳波を分析した結果
が表示され,測定したデータのパソコンでの保存・再生も可能である.
(※文責: 杉本識吏)
Group Report of 2013 SISP
-3-
Group Number 21-A
Mind Communication
図 2.1
表 2.1
アルファテック IV[4]
アルファテック IV の意識状態の指標 [3]
名称
周波数
意識状態
ベータ波
14∼26Hz 不安や緊張, いらいらなどストレス状態を反映する波形
アルファ波ファストα
12∼14Hz 緊張した意識集中状態であまりゆとりがないときの波形
アルファ波ミッドα
9∼12Hz リラックスした意識集中状態で頭が冴えている
アルファ波スローα
8∼9Hz 休息や眠る方向にしており意識が低下している
シータ波
4∼8Hz 浅い睡眠のときあらわれ意識が働かない
デルタ波
0.4 4Hz 不快睡眠のときあらわれる無意識状態
MindTune
東芝によって研究, 開発され商品化されている商品に MindTune というものがある [5]. こ
の装置は生体信号を検知するためのセンサーを搭載した Bluetooth ワイヤレスヘッドホン,
センサーで受信した ユーザーの脳の活動信号を専用ソフトでグラフィカルに描写すること
ができる. 集中度と瞑想度を分析表示し, これらを利用したゲームで遊ぶことができ,また,
音楽などを聴きながら, これらがどのように変化しているのかを見ることができる.
図 2.2 MindTune[5]
mico
neurowear(ニューロウェア)という集団と,それぞれに別の仕事を持つ外部のクリエ
イターたちで研究開発された mico という装置はユーザーの脳波からその時々の気分を読み
取り,音楽をレコメンドしてくれるヘッドフォン型デバイス である. 使い方はユーザー
が『mico』を付けると, 額と耳に接着するセンサで脳波を感知し,その瞬間の「キモチ」を
iPhone の専用アプリに伝達する.すると,アプリ側は,ストックしている 100 曲のプレイ
リストから,受け取った脳波情報をもとにオススメの楽曲を数曲セレクトし,自動で音楽が
Group Report of 2013 SISP
-4-
Group Number 21-A
Mind Communication
再生されるというものである.さらに,ヘッドフォンの耳当て部分には独自開発の LED マ
トリクスユニットが搭載されており,脳の状態がビジュアルで表現される.例えば,「集中
している」ときは「!」のマークで表され,
「眠い」ときは「zz…」のマークで表されるなど
アイコンの表示によって,自分の状態がビジュアルで表現されるようになっている.[6]
図 2.3 mico[6]
(※文責: 杉本識吏)
2.2
目標課題設定
ツールを製作する前に,まずはグループごとに先行事例を調査した.今まで脳波を用いて作成さ
れたツールにはどのようなものがあるのか、またどのような技術を用いているのか参考に仕様とし
た.そして,これからのアイディア出しに役立てようと考えた.次に脳波と音の講義を受けた.今
回は製作物を作るのに必要な最低限の知識を得るための講義であり,ここで得た知識を使い製作物
を考えていった.さらに私たちは脳波実験班と音実験班の 2 つの班に分かれて実験を行い,何がで
きて,何ができないかを理解し,より脳波と音についての理解を深めた. 私たちが調べた先行事
例では,複数人の脳波を扱う事例が無い,また脳波を可視化するという事例はあったが,音にする
という事例は無いという問題があった.また,講義と実験によって,できること,できないことが
あり,複雑なものだと様々な値が有意になってしまうという問題があった. 先行事例や講義,実
験からわかった問題点を踏まえ,測定した脳波を音に変え,コミュニケーションに役立てる新しい
ツールを製作することを目標とした.
(※文責: 杉本識吏)
Group Report of 2013 SISP
-5-
Group Number 21-A
Mind Communication
第 3 章 問題解決のプロセスと概要
3.1
脳波と音についての講義
3.1.1
脳波の講義
脳波についての基礎知識を得るため,脳のそれぞれの部位の機能,脳波の仕組みや脳波の種類と
特徴などのツールを制作するのに必要な知識を学び,脳波を測定する手法などを実演を取り入れて
学んだ.
図 3.1
脳波の講義の様子
脳の部位と機能
脳は,大まかに大脳,小脳,脳幹に分かれている.さらに大脳は前頭葉,頭頂葉,後頭葉,側頭
葉,扁桃体,海馬に分類される.脳はさらに細かく分類され,細かい部位が多く組み合わされるこ
とによってできているが,今回は脳波を知るために必要な最低限の部位について説明を受けた. 機能は大脳は,運動機能や言語機能,記憶・判断・感情思考などの高度な機能,視覚・聴覚・知覚に
反映される機能があり,小脳は,運動や姿勢を保持し,円滑な運動ができるように統合・調整して
いる.脳幹は,生命を保つために必要な不随意反射機構(呼吸・血圧など)の維持をしている.[3]
(※文責: 杉本識吏)
図 3.2 脳波の部位
Group Report of 2013 SISP
-6-
Group Number 21-A
Mind Communication
脳波の種類と特徴
脳波は大きく 8 14Hz のα波,14 30Hz のβ波,4 7Hz のθ波,0.5 3Hz δ波に分けられる.α
波はリラックス,β波は集中や緊張.θ波は覚醒状態,δ波は睡眠状態である.α波はさらに分け
ることができるが,今回は脳波の測定機で測定できる必要最低限の脳波の種類と特徴についてのみ
講義を受けた.また,目の動きや筋電によって多少の電気が発生し,脳波の測定に多少の影響があ
ることなどを学んだ.
(※文責: 杉本識吏)
脳波測定の実演
講義を聞いた後に脳波の正確な測定の仕方を実演を交えて学んだ.まず,用意した道具は,肌を
拭くための綿とアルコール,脳波をとりやすくするためのジェル,脳波を感知するための電極,測
定するための装置を準備した. 手順は,まず,アルコール洗浄液で電極を貼り付ける部位数箇所
を洗浄し,脳波を測定しやすくするためのジェルを電極を貼り付ける各部位にぬる.次に電極を貼
り付けて,電位差を計ることで脳波を測定する.
(※文責: 杉本識吏)
3.1.2
音の講義
音の仕組み,音と感情の関係についての基礎知識を得るために,ダイナミクス表現とタイミング
で感情にどのような影響を与えるかの講義を受けた.
(※文責: 杉本識吏)
音の仕組み
音は,空気の振動によって伝わる.音は波長によって変わり,波長が短くなるほど,音が高く
なっていき,逆に長くなるほど音が低くなる.和音とは,音の重なりで,例えば,ド,ミ,ソの 3
つの音が同時に鳴ることで和音となる.
(※文責: 杉本識吏)
音と感情の関係
音から音がどれだけ離れているのか,という組み合わせがいくつもあり,それらの組み合わせに
よって緊張度や安静度が表現できる.和音は音が何度離れているのかというものなので,数学的に
計算で求めてコード進行を作っていくことができる.major だと比較的,安心して聴くことができ
るコード進行であり,miner だと比較的,不安や緊張を感じるコード進行である. また高音で速
いテンポの音楽には鋭いイメージ,低音でゆったりとしたテンポの音楽にはおおらかなイメージを
覚える. 音楽はタイミングやダイナミクスでも表現の幅が広がる.ダイナミクス表現とは音のメ
リハリ,強調のことであり,これらを用いることで活発で陽気な曲になったり,落ち着いたゆった
りとした曲などを表現できる.同じ曲でも自分の気持ちによってダイナミクス表現が強い曲が心地
よかったり,タイミング表現がゆったりしている曲が聞きたいと思ったりなど,音楽は感情に大き
Group Report of 2013 SISP
-7-
Group Number 21-A
Mind Communication
く左右される.
(※文責: 杉本識吏)
3.1.3
音楽の講義
音と感情の関係についての基礎知識を得るために, ダイナミクス表現とタイミングで感情にどの
ような影響を与えるかの講義を受けた.
図 3.3
(※文責: 杉本識吏)
3.2
実験
私たちは, ツールを作っていくための知識, 技術を身につけるために, 脳波実験班と音実験班の 2
つの班に分かれて実験を行った.
3.2.1
脳波の実験
脳波実験班はツールを作る際に必要な,どのようなことをしたときにどのような脳波が出るか
などの, 実験を行った. 実験内容は開眼 (コントロール) と各条件との比較で, どのような変化が
見られるかを観察した. 実験は単独でやる, 開眼, 閉眼, 瞬き, 歯軋り, 音楽を聴く, リズムを聞
く, タッピング (2t/s), タッピング (3t/s), 音楽ゲームをするの 9 つと, 複数人でやる, 会話をす
る, しりとりをするの2つの脳波を取った. 計測方法は, まずアルコール洗浄液で額, 耳たぶを洗浄
し, Mindwave を装着する. 次にプログラム”bmi.gui2”を起動し Mindwave と接続する. そして各
実験条件に基づき脳波を測定している. 被験者は男性 2 名, 女性 1 名の 3 名で行った. 実験には
Mindwave, bmi.gui2(プログラム), パソコン, メトロノーム イヤホン アルコール洗浄液, Web 上
で動作する音楽ゲームを使った. 検定方法は開眼をコントロールとした t 検定で, 自由度を 180 と
し, 両側 0.001 %水準で 検定を行った. ただし, 複数条件は 3 つのペアから相関係数 r を求め, 相
関係数 r から t 値を求め t 検定を行った. 更に, 3 つのペアの t 値から全体の t 値を求め, t 検定を
行った. t 検定の仕方は, 全体の数値の log をとり, データ数を n1, n2, 平均値を x1, x2, 標準偏差
を s1, s2, 分散を s1 の二乗, s2 の二乗とし, t 値は以下の式で求めた.
Group Report of 2013 SISP
-8-
Group Number 21-A
Mind Communication
(x − x2 )
√ 12
(s1 )
(s22 )
+
n1
n2
(3.1)
求めた t 値が, 3.345397 を超えた場合を有意であるとした. 結果は, 単独条件ではどの条件でも
有意な脳波が多く, 閉眼においては, 特にα波が顕著に見えた. リズムを聞く, タッピング (2t/s),
タッピング (3t/s), 音楽ゲームをするの 4 つの音に関係する条件では, γ波が顕著に現れることが
わかった. 複数条件では, 全体的に有意であったが特にδ波が顕著に現れた. まとめとしては, 単純
な条件では脳波を取りやすいが, 複雑なものだと様々な値が有意になってしまう. そのため, 単純な
動きを用いた方が脳波を使った制作物には向いているといえることがわかった.
図 3.4 脳波実験の結果
(※文責: 杉本識吏)
Group Report of 2013 SISP
-9-
Group Number 21-A
Mind Communication
3.2.2
音楽の実験
「人は覚醒度,気分によって聞きたい音楽が変わる」という仮説をたて,ダイナミクスやタイミ
ングの音楽表現,テンポ,ピッチについて実験を行った.
ダイナミクス・タイミングの実験
被験者は男女 7 名,実験にはショパンの別れの曲を使用し,ダイナミクス,タイミングとも
に (1) なし,(2)弱,(3)中,(4)強の 4 段階の比較を用意し,覚醒度が高く気分が良
いとき, 覚醒度が低く気分が良いとき,覚醒度が高く気分が悪いとき,覚醒度が低く気分
が悪いときを想定し,どの段階のダイナミクス,タイミングの曲を聴きたいかを選択しても
らった. 想定するシチュエーションを以下に記す.
表 3.1 覚醒度, 気分の違いに分けた想定するシチュエーション
覚醒度
気分
想定するシチュエーション
High
+
行ってみたい所にドライブしにいくことになったとき
High
-
歯医者の治療を受けているとき
Low
+
落ち着いた喫茶店で旧友と懐かしい話をしているとき
Low
-
友達と喧嘩して落ち込んでいるとき
ダイナミクス表現についての結果
分散分析の結果,ダイナミクス表現では,気分の効果が有意であり,気分が悪いときの
条件(M=1.1, SD=0.7)より,気分が良いときの条件(M=1.9, SD=1.0)のほうが豊
かなダイナミクス表現を好む傾向があった. F(1,6)=7.98, p <.01
図 3.5 ダイナミクス表現について結果
タイミング表現についての結果
タイミング表現には気分, 覚醒度ともに有意な差は見られなかった. F(1,6)=0.58, p
>.10
テンポ・ピッチの実験
被験者は男女 14 名,実験には JPOP で多く用いられるコード進行 F ♯ 7,G7,Em7,Am
を使用し,ピッチ,テンポともに3段階の比較を用意し.ダイナミクス・タイミングの実験
同様の想定するシチュエーションで聞きたい音楽を選択してもらった.
テンポについての結果
Group Report of 2013 SISP
- 10 -
Group Number 21-A
Mind Communication
図 3.6
タイミング表現について結果
テンポの実験の結果は覚醒度,気分が高いほど速いものを選択する傾向があった.分散
分析の結果,覚醒度の効果が有意であり,覚醒度が低いときの条件(M=1.54, SD=0.67)
より, 覚醒度が高い条件(M=2.29, SD=0.71)のほうが速いテンポを好む傾向があっ
た.F(1,13)=21.22, p <.01 また気分の効果も有意であり,気分が悪いときの条件
(M=1.61, SD=0.74)より,気分が良いときの条件(M=2.21, SD=0.64)のほうが速
いテンポを好む傾向があった.F(1;13)=21.72, p <.01 さらに覚醒度と気分の交互作用
が有意傾向であった.F(1,13)=3.47,p < 10. 気分の水準ごとに覚醒度の単純主効果に
ついて検証した結果,気分が良いときの覚醒度の効果が得られたが, 気分が悪いときは
得られなかった.また覚醒度の水準ごとに気分の単純主効果について検証した結果,覚
醒度が高いときには気分の得られたが,覚醒度が低いときには得られなかった.
図 3.7
テンポ表現について結果
ピッチについての結果
ピッチの実験の結果は覚醒度, 気分が高いほど速いものを選択する傾向があった.分散
分析の結果,覚醒度の効果が有意であり,覚醒度が低いときの条件(M=1.71, SD=0.71)
より, 覚醒度が高い条件(M=2.14, SD=0.75)のほうが速いテンポを好む傾向があっ
た. F(1, 13)=9.75, p <.01 また気分の効果も有意であり,気分が悪いときの条件
(M=1.64, SD=0.80)より,気分が良いときの条件(M=2.21, SD=0.66)のほうが速
いテンポを好む傾向があった.F(1, 13)=3.47, p <.10 覚醒度と気分の交互作用は有意
ではなかった. F(1, 13)=0.43, p > 10
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 11 -
Group Number 21-A
Mind Communication
図 3.8
3.3
ピッチ表現について結果
講義と実験のまとめと今後の方針の決定
講義と実験によって知識を得たことによって,何ができて,何ができないのかがわかったの
で,ブレインストーミングと KJ 法を用いて製作物の案を出し固めていった. まず,ブレインス
トーミングでは何ができて,何をできないかなどの縛りには捕らわれずに自分の思ったことや考え
付いたことを抽象的や具体的などの形は関係なくとにかく付箋に書き出していった.そして,ブレ
インストーミングによって書き出されたワードを細かくグループ化していき,そのグループの要素
を組み合わせたりしながら製作物の案を考えていった.
(※文責: 松本大樹)
図 3.9
Group Report of 2013 SISP
ブレインストーミングの結果
- 12 -
Group Number 21-A
Mind Communication
制作物のプラン作成
3.4
テーマである「音と脳波」を使ったコミュニケーションデバイスの開発に向けて,現実的かつ論
理的なアイデアを得るための話し合いをブレインストーミングで行った.そのアイデアを雛形にコ
ンセプトシートを作成した.
3.4.1
ブレインストーミング
ブレインストーミングとは,20世紀中期にアレックス・F・オズボーンによって考案された会
議方式の一つである.ブレスト,集団思考,集団発想法,課題抽出ともいう.これは,集団でアイ
デアを出し合うことで相互交錯の連鎖反応や発想の誘発を期待する方法である.人数に制限はない
が,5 人以上,多くても 10 人ほどが望ましく,議題はあらかじめ周知しておくべきである.個人
でもつ知識には偏りがあるが,複数人で知識を集積することによりお互い刺激し合い,これまでに
ない新しい発想がしやすくなる.また思いついた意見をポストイットに書き込むことで管理が簡単
になる.ブレインストーミングには以下の 4 つのルールがある.
1. 批判をしない
自由なアイデアを抽出を制限するような,人の意見に対する批判は慎む.個々のメリット・
デメリットなどの評価は,ブレインストーミングの次の段階で行う.ただし可能性を広く抽
出する質問や意見はこの限りではなく,その場で自由にぶつけ合って良い.
2. 粗野な考えを歓迎する
誰もが思いつきそうなアイデアよりも,奇抜な考え方やユニークで斬新なアイデアを重視す
る.新規性のある発明はたいてい最初は笑いものにされることが多く,そういった提案こそ
重視すべきである.
3. 量を重視する
さまざまな角度から,多くのアイデアを出す.一般的な考え方,アイデアはもちろん,一般
的でなく新規性のあるアイデアまであらゆる提案を歓迎する.
4. アイデアを結合し発展させる
別々のアイデアをくっつける,一部を変化させるなどして新しいアイデアを生み出す.他人
の意見に便乗することも推奨される.
私たちは最初,アイスブレイクを兼ねて「脳波」に関するイメージでブレインストーミングを
行った.自由な発想をもつ練習でもあったが,この作業に慣れているためか情報デザインコースに
所属するメンバーが発言する回数が抜きん出て多かった.その後,岡本先生よりブレインストーミ
ングの方法についてアドバイスをいただき,最終的な制作物につなげるために「どんなものをつく
りたいか」についてブレインストーミングを行った.ある程度意見が出たら一旦作業を中断し全体
を俯瞰し, 書き出された意見の種類に極端に偏りがあれば別の視点からのアイデアを促すよう話
し合いながら幅広い視点から多くの意見を出すことを意識した.またある程度意見が出揃ったらす
べてのグループで集まり発表会などで情報交換を行った.回数を重ねるごとにすべてのメンバーか
積極的に意見が出るようになった.
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 13 -
Group Number 21-A
Mind Communication
図 3.10 ブレインストーミングの様子
3.4.2
KJ 法
KJ 法は,文化人類学者川喜多二郎がデータをまとめるために考案した手法である,データを
カードに記し,カードをグループにまとめ,図解する.共同の作業にも用いられ,創造性開発にも
効果があるとされる.以下の 4 ステップからなる.
1. カード作成
1つのデータを 1 枚のカードに要約する.複数を 1 枚に書いてはいけない.ブレインストー
ミングでポストイットを用いた場合はそれを利用する.
2. グループ編成
数多くのカードの中から似通ったいくつかのものをグループにまとめ,それぞれに見出しを
つける.
3. 図解化
グループの見出しの意味関係により配置し,線でつないだり,囲んだりすることで,関係を
図解する.例えば, 関係の有無や反対の意味などがある.
4. 叙述化
図解から文章を書き出したり,時間前後関係に展開することで,新たな発想を得たり,誤り
を見つけ出したりする.
はじめに行ったKJ法では,ブレインストーミングで出たアイデアを 1∼9 個ほどのの小さな分
類に分けた.その後小さな分類を似ているものや関係しそうなものでまとめ,最終的には「音に関
係するもの」,自分や他人の状態を知ることに起因する「測定に関係するもの」,性格矯正などの
「感情に関係するもの」,光や画像などの「視覚化に関係するもの」の 4 つと,より抽象的な「イ
メージ」に分類した.
音に関係するもの
音とリズムに関連する意見をまとめた,そのなかでさらに「聞いていて心地よい音」,「不快
音」,
「音を加工する」,「会話・発話」という分類がされている.
測定に関係するもの
相手の気持ちを知りたい,自分の内面を知りたい,という, 見えないものを測りたいという
意見をまとめた.そのなかでさらに, 「見えないものを知る」「見えないものを記録する」
Group Report of 2013 SISP
- 14 -
Group Number 21-A
Mind Communication
「見えないものを管理する」という分類がされている.
感情に関係するもの
自分の感情を操作したい,その場の雰囲気を変えたい,という,感情が関係する意見をまと
めた.そのなかでさらに,自分の集中力をトレーニングする,もっと冷静になりたい,など
の「性格の矯正」
, その場の雰囲気に合わせた BGM を流したい,などの「雰囲気の聴覚化」
という分類がされている.
視覚化に関係するもの
照明効果や映像などを制作するツールに取り入れたいという意見をまとめた,そのなかでさ
らに「光」,「映像」,「照明」という分類がされている.
イメージ
「ほかに例をみないもの」「一度見たら忘れないもの」などの概念的なものをまとめた.
図 3.11
最初に行った KJ 法の結果
その後,岡本先生よりアドバイスをいただき,より自由なカテゴライズを意識して再び KJ 法を
行った.さらに空間の使い方にもルールをつくり,空間を横に区切って使うことにした.下側には
解決したい問題, 中央には解決方法,上側には実際に作りたいものを配置し,細かく分類した.そ
の後解決したい問題から実際に作りたいものまでをつなげるストーリーを考えた.以下表 3.2 にそ
の例を示す.
表 3.2
KJ 法から導き出した問題と解決法の例
問題点
解決方法
制作物の案
勉強が捗らない
集中力を持続させる
集中力を数値化するスカウター
人と話が続かない
相手の気持ちを読み取る
脳内を映像化する
思い出を忘れてしまう
思い出させる
そのときの気持ちを視覚化する
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 15 -
Group Number 21-A
Mind Communication
図 3.12
3.4.3
先生からアドバイスをいただいて行った KJ 法の結果
コンセプトシート
コンセプトシートとは,デザインを起こす際の根拠となる設計図である.ブレインストーミング
と KJ 法を行うことで導き出したキーワードを参考に,(1) タイトル,(2) 問題点,(3) 解決案,
(4) コンセプト, (5) イメージイラストの 5 項目をコンセプトシートに書き起こした.以下にその
例を挙げる.
MyMoodMaker
脳波と声の波形から自分の気持ちを読み取り,効果音にして相手に伝えるシステム
図 3.13 My Mood Maker のコンセプトシート
ComeBackMemory
写真を撮影したときの自分の気持ちを効果音にして記録するシステム
Group Report of 2013 SISP
- 16 -
Group Number 21-A
Mind Communication
図 3.14 MyMoodMemory のイメージイラスト
図 3.15 ComeBackMemory のコンセプトシート
コンセプトシートの制作の時点で,自分の気持ちを音楽にして表現するという制作物のイメージ
をもっていた.しかし,そもそも脳波とは感情が細かく読み取れるものではなく,さらに今回使用
する乾式脳波センサは取り付けが非常に簡易であるが読み取れる脳波も主にα波とβ波の二種類し
かないものであるため,気持ちを読み取るという制作物には無理があるだろうという指摘を受け
た.これを受けて,さらに話し合いを続け,最終的な制作物である NoticeVoice に至った.
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 17 -
Group Number 21-A
Mind Communication
3.5
デバイスの習得
私たちが提案したもののプロトタイプを製作するために,Processing, MAX について TA
(Teacher Assistant)のかたからアドバイスをいただいたり,教本のサンプルプログラムやリ
ファレンスを参考にすることでプログラムの書き方を学んだ.中間まででは,Max,Process-
ing,MindWave の基本的な動作の確認と,それを組み合わせたプロトタイプの作成を行い,後期で
は Max で行う音声の加工のバリエーションを増やすことと製品の小型軽量化, 無線化を目標とし
デバイスの習得を目指した.
3.5.1
MindWave
MindWave は,ニューロスカイ社が製造している乾式脳波センサである [7].ヘッドセットに
なっており,額部分と耳たぶに電極をつけることで脳波を測定する.測定できる脳波は数種類で誤
差も生じるが,ほかの脳波測定デバイスよりもはるかに装着が簡単で手軽に計測ができる.付属の
bmi.gui2 という解析ソフトには, BlueTooth で直接データを送信することができる.
前期はソフトのインストールなど,MindWave を動作させる環境の設定を行い,波の実験などを通
し,MindWave の基本的な使い方を学習した. 中間報告で制作したプロトタイプにも MindWave
を使用し,脳波を計測・パソコンにデータ送信することに成功した. 後期では制作物を会話のな
かで利用することを想定したため,2 台以上を同時に動作させるために複数のパソコンに環境を構
築しようと試みたが,パソコンのスペックによってインストールできないマシンもあり,制作物を
正常に動かせるパソコンを揃えるところに苦労した.
図 3.16 MindWave
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 18 -
Group Number 21-A
Mind Communication
3.5.2
Max
Max(マックス)は,サンフランシスコのソフトウェア企業 Cycling ’74 が開発・保守している
音楽とマルチメディア向けのグラフィカルな統合開発環境(ビジュアルプログラミング言語)であ
る.[9]. 作曲家やメディアアーティスト,ビジュアルジョッキーなどに愛用されている.
グループ内で誰も使用したことがないソフトであったため,ソフトをインストールするところか
ら始まった.その後,教本やリファレンス,インターネット上のサンプルを利用することで,簡単
なプログラムの書き方を学習した.前期の中間報告で制作したプロトタイプでは,Max を用いて,
マイクから入力された肉声のピッチをあげてスピーカーから出力した.これは動画サイトで個人が
公開していた順序で行った [10].
最終報告では Kerovee というプラグインソフトウェアを用い,フォルマントとピッチをシフトさせ
ることで声の高さを変更した.Max では Kerovee の変更の度合いを複数段階設定し,processing
から送られてくる値に応じて変更するスイッチと音声の入出力を行うシステムを制作した.
図 3.17
Max の編集画面
(※文責: 杉尾千芙未)
3.5.3
Processing
Processing(プロセシング)は, オープンソースプロジェクトであり,かつては MIT メディアラ
ボで開発されていた.電子アートとビジュアルデザインのためのプログラミング言語であり,統合
開発環境である [11].視覚的なフィードバックが即座に得られるため,初心者がプログラミングを
学習するのに適しており,電子スケッチブックの基盤としても利用できる.Java を単純化し, グラ
フィック機能に特化した言語といえる.
プロトタイプの制作にあたって Processing を用いて実装した機能は,MindWave で読み取った
脳波をテキスト化して読み込み,読み取ったβ波の値の常に直前 5 秒間の平均を算出し, 算出し
た平均値が設定した範囲内のとき, Max で実装した, 入力された声のピッチを上げて出力するとい
う加工を施すというものであった.最終報告の際には前期のプロトタイプのコードを改変し,α波
とβ波を以下の式 x に代入し計算した.
x=
Group Report of 2013 SISP
α−β
α+β
- 19 -
Group Number 21-A
Mind Communication
これによって脳波の個人差に関係なく-1 から 1 の間の数が出力されるようになった.この算出さ
れた値をもとに音声の加工を決定した.また MindWave で読み込んだα波とβ波の値、その平均
と上の式に代入し算出された値をテキストでパソコンのディスプレイに出力し,プログラムが正常
に動作していることを常に確認できるようにした.
図 3.18
Processing の編集画面
(※文責: 杉尾千芙未)
3.5.4
Arduino
Arduino は,AVR マイコン,入出力ポートを備えた基板,C++ 風の Arduino 言語とそれの統
合開発環境から構成されるシステムで,スタンドアロン型のインタラクティブデバイス開発だけで
なく,ホストコンピュータ上のソフトウェア(例えば,Adobe Flash,Processing,Max/MSP,
Pure Data,SuperCollider)で制御することもできる.
前期の中間報告の段階では,無線化のために Arduino の導入を考えていたが,製品は Processing
と Max という二つのソフトを同時に利用するため,Arduino を二つ導入する必要があった.小型軽
量化のための無線化には不適切として,今回は導入しなかった.
(※文責: 杉尾千芙未)
3.5.5
Bluetooth
Bluetooth とは,デジタル機器用の近距離無線通信規格の 1 つである.廉価であり厳密な送受信
の制御や秘匿性は考慮されていないことから,携帯電話など身近な機器にも搭載され,手軽に利用
することが出来る.
制作物の利便性のため,私たちは Bluetooth による無線化を考えた.制作物に Bluetooth の無
線受信機を組み込み試作品を制作したところ,入力から出力まで 2 秒以上のディレイが生じ、ま
た送信機と受信機との間が遠すぎたり、障害物があると受信できなくなることがわかった.送信
機,受信機の性能が, 小型で軽量な受信機では限界があった.ディレイを抑えるためにはより大型
で重い受信機を導入する必要があるが,片手で持って使用するという製品の特性上適さないと判断
Group Report of 2013 SISP
- 20 -
Group Number 21-A
Mind Communication
し,現時点では有線のみとした.今後,小型で軽量で高精度な受信機が製造された際には無線化し
たい.
図 3.19 使用した SONY 社の Bluetooth 機器である SBH20
(※文責: 杉尾千芙未)
3.5.6
Kerovee
Keroveet[13] とは,g200kg というサイトで配布されているピッチ補正VSTプラグインソフト
ウェアである.ピッチのシフト専用のソフトウェアであるため動作が軽く,操作もシンプルであ
る.また入力された音声の変化が波形として表れ視覚的にわかる.ピッチとフォルマントの値,ま
たボリュームや微妙なチューニングなどを変化させた数十種類の加工音声をつくり,それらをグ
ループメンバーでひとつづつ聞き,変化がわかりやすい,声がこもらないという観点から判断し
て,実際に制作物に使用する加工を決定した.
(※文責: 杉尾千芙未)
Group Report of 2013 SISP
- 21 -
Group Number 21-A
Mind Communication
図 3.20 Kerovee の編集画面
3.5.7
はんだづけ
はんだづけとは,はんだごてを用いてはんだを熱で溶かし接着剤として用いることにより, 金
属や電子部品を接合する作業のことである.「Notice Voice」を作成するにあたって,マイクから
直接スピーカーに出力すると,音量が不足し変換された音声が聞き取りにくくなることが予想され
た.そこで私達はスピーカーに電子回路のアンプを作成し,制作物に組み込むことでこの問題を解
決しようと試みた.
(※文責: 上田進太郎)
Group Report of 2013 SISP
- 22 -
Group Number 21-A
Mind Communication
第4章
4.1
中間発表
ポスター
前期のポスター製作は,グループ内での話し合いを徹底的に行い,コンセプトや背景,問題点,
解決法などを固めてから文書作成を行った.話し合いは定期的に行いその度にさまざまな修正を入
れていった.文章を作成するに当たってとくに問題点,解決法の内容について注意した.背景とは
また別に,このデバイスを製作するに当たってどのような問題を,どのように解決するかがこのポ
スターを見ている人たちにしっかりと伝わるように意識し,この問題点をみてポスターを見た人た
ちが興味を示し,解決法に納得してもらえるように考えた.これだけだと具体的なデバイスが伝わ
りづらい可能性があるので,図を用いてシステムの説明などを補足することで,どのような動きを
しているか伝わるように作成した.デバイスの見た目については,プログラムなどの中身の部分は
だいたい完成していたが,外装はまだ作り始めていなかったため,完成予想のイメージ図を載せる
ことにした.全体を通して,文章の内容については大まかな部分は決まっていたが具体的な文章は
定まっていなかった.なので中間発表まで先生の指導をうけながら試行錯誤して文章を考えた.発
表ぎりぎりまでかかったが,なんとか印刷までに間に合わせることができた.
図 4.1
中間発表でのポスター
(※文責: 倉崎隆城)
Group Report of 2013 SISP
- 23 -
Group Number 21-A
Mind Communication
4.2
4.2.1
製作物「NoticeVoice」
背景
日常的な会話の中では,様々な問題が生じる.例えば,友達と会話を楽しんでいる中で,ふと友
達に振った話題が友達にとって,触れられたくない話題だった場合,意図せず相手を傷つけてしま
い,空気を悪くしてしまうことがあるという問題点や,プレゼンのような観客を相手にするものだ
と,練習したのにプレゼンがうまくいかないという問題点があげられる.意図せず相手を傷つけて
しまうという問題は,相手の気持ちを知ることで「これは話してはいけない話題だったかな?」や,
「こう言われると嫌なのかな?」などというような相手の目に見えない反応を知ることができるこ
とによって,相手が傷つくことを事前に防ぐことができ,それが解決策となる.練習でプレゼンが
うまくいかないという問題は,練習中の集中力が足りないために本番で上手くいかないと仮定し,
練習中に集中力を維持しながら練習することで解決できるのではないかと考えた.つまり,自身の
目に見えない集中状態をなんらかの方法で認識し,意識することで,しっかりと集中力を保って練
習することができるようになるということである.そうした背景から私達は,NoticeVoice という
ツールを製作した.このツールは,自分の脳波から,集中力をあらわすβ波を読み取り,そのデー
タから自身の集中状態をだし,それに応じて自分の声を加工して出力するという物である.声とい
う手段で相手や自分の集中状態を知らせることで,例えば意図せず傷つけてしまうという問題の場
合では,相手の声以外の表情の変化も見逃さなくてもすむことで,より相手の状態を読み取りやす
くなるという点であったり,プレゼン練習でもいえるように,視覚的に知らせるのではなく聴覚に
訴えることで,本来目を向けるべきであるコミュニケーションの相手から目をそらさずに状態を
知ることが出来るという点から声を加工するという方法をとった.本ツールの名前「NoticeVoice」
の由来は,
「相手の状態を相手の加工された”声”から”気づく”」から取った.
(※文責: 倉崎隆城)
4.2.2
コンセプト
今回のコンセプトは「集中の度合いを脳波をもとに計算し,声のピッチの変化に反映させること
によって知る」である.集中の度合いなど,普段,日常の生活の中では目に見えず,コントロー
ルが難しい情報を声という日ごろから使用していて馴染みのあるものによって表現し,会話の中
に組み込むことでより質の高い会話をすることが出来るのではないかと考えた.私達が製作した
NoticeVoice は,ユーザーの脳波を計り,発話者の集中の度合いに応じて声のピッチを変更して出
力する.それによって,自分自身で装着した場合には自分自身の集中の状態や,興味を,コミュニ
ケーションの対象である相手に装着してもらうと,その相手の集中状態や興味を知ることが出来
る.これを日常的な会話の中や,プレゼンなどの練習に使用することで,目に見てとれない些細な
変化を感じ取ることができるようになる.このような些細な変化を相手や自分が知ることで,今ま
で気づかずに起こってきた会話の中でのすれ違いや,意図せず傷つけてしまうことを未然に防ぐこ
とが出来る.逆に,相手のより興味のある事柄や,食いつくような話題を知ることができ,会話を
より盛り上げることもできる.このように NoticeVoice を使用することで,会話の中で誰かを傷つ
けることを減らすことができ,さらに会話を盛り上げることが可能で,結果として会話全体の質を
向上させることが出来るのではないかと考えた.
Group Report of 2013 SISP
- 24 -
Group Number 21-A
Mind Communication
(※文責: 倉崎隆城)
4.2.3
システム
NoticeVoice では,脳波を測定するための MindWave,PC,マイク,スピーカーを1人に付き
それぞれ1つ用意する.脳波を測定する MindWave は,ヘッドセットになっており,額部分と
耳たぶに電極をつけ脳波を測定する.中間では,マイクはスタンドタイプのものを,同様に,ス
ピーカーもスタンドタイプのものを使用した.最終的な完成形では,無線タイプのマイクとスピー
カーを用いて作成する.次に,具体的なシステムについて記述する.まず,脳波を測定する人に
MindWave を装着してもらう.この MindWave では1秒ごとに脳波が測定され,パソコン上の
「bmi.gui」と呼ばれる MindWave に付属されているソフトにα波,β波,θ波,δ波の4つの脳
波がそれぞれ表示される.今回は,集中の度合いを測定するのみなので,4種類の脳波のうち集中
の度合いを示すβ波のみを測定した.脳波は非常に不安定であり,ちょっとしたことで激しく変化
してしまうので,送られてきたデータは Processing によって平均を取る必要があった.そこで,
脳波のデータが1秒ごとに送られてくるので,新たに測定し送られてきたその瞬間のデータと直前
4秒間のデータを合わせた計5秒間のデータを用いて平均を取り,毎秒ごとに更新するようにプ
ログラミングした.今回は声のピッチを加工するのに Max と呼ばれる言語を用いた.Max には
Processing から毎秒送られてくる脳波の平均を元に声のピッチを変更するようプログラムし, ユー
ザーがマイクを使用して発話した瞬間に,そのときの集中状態に応じた声がスピーカーから出力さ
れるようにした.今回は,脳波の平均の値が 20000 を下回った際に,声のピッチを上げるよう設定
した.これによって,β波の値によってこの「Notice Voice」を使用している人の声のピッチが加
工されるようになっている.
図 4.2 bmi.gui2 の動作の様子
(※文責: 倉崎隆城)
Group Report of 2013 SISP
- 25 -
Group Number 21-A
Mind Communication
図 4.3 NoticeVoice のイメージ図
4.2.4
仕様
NoticeVoice は,一人で使う場合と,複数人で使う場合を想定している.MindWave によって,
ユーザーの脳波の中でも特に集中を表すβ波を毎秒ごとに測定し,パソコンに送信される.その
データを元に Processing によって平均値が算出され,Max に送られる.そして,ユーザーが声を
発した際,そのときのユーザーの集中状態に応じて声のピッチが変化するようになっており,自分
の声のピッチが変更されて聞こえると,集中しておらず,ピッチが変わらず聞こえると,集中して
いることがわかるようになっている.これによって,自分や相手の集中状態を知ることが出来る.
(※文責: 倉崎隆城)
4.3
発表
私たちのプロジェクトでは,音についてのデバイスであったが,それほど大々的な音を鳴らすわ
けではなかったので場所についてはとくに指定はしなかった.発表の形式としては,グループ全体
の活動や,それぞれのグループの活動を大まかにまとめたメインのポスター1枚と,各グループの
成果物やそれについての背景やコンセプトなどをまとめたポスター3枚の計4枚のポスターを使っ
て,ポスターセッションを行った.ポスターセッションは,通常の発表とは違い,1回の発表毎に
区切ってするのではなく,どんどん来る人達に順番に説明していくものである.ポスターセッショ
ンにした目的は,スライドでの発表では発表者との距離があいてしまうので,制作したポスターを
使って,発表者と見ている人の距離を縮めることができる.また,その結果として発表者の発表を
聞きやすいだけでなく,疑問に思った点やもっと知りたいことをすぐに質問したり,意見を述べた
りすることができ,いい雰囲気をつくれるという利点がある.また,短い時間で制作した内容をす
べて発表しなければならないので,プレゼンのあくまで補助として使えるよう,コンセプトや背
景,完成予想の説明,システムなどが網羅的にかつシンプルに書かなければならない.なのでポス
ター制作の際には文字が少なめで,図を多く使うよう心がけて作成し,発表することにした.発表
当日,プレゼンに関してはポスターをうまく使い発表することができた.ただ,言いたいことをう
まくまとめられず,だらだらと長い説明をしてしまったところもあった.プレゼンのあとに行った
Group Report of 2013 SISP
- 26 -
Group Number 21-A
Mind Communication
デモは,NoticeVoice を使って文章を朗読するものにした.理由としては,まだまだ完成品には程
遠いプロトタイプとなってしまったので,無意識の状態を知るということにより集中状態となると
声の変化が現れるという中間の時点までで出来あがっている部分までを見せるということになり,
朗読を選んだ.ただ,これだとやはり何を作ろうとしているのか,理解することができないような
プレゼンとなってしまっており,もう少し練ったものにするべきだった.中間発表全体として振り
返ると,やはり粗が目立ってしまっていたと思う.ポスターセッションという初めての発表方法に
よるとまどいや,中間までの成果を大々的に発表するというプレッシャーもあいまって,なかなか
スムーズには行かない部分もあった.ほとんど全員が始めての体験だったこともあり,今回の中間
発表での経験は貴重なものであったともう.この中間での経験を活かし,よりよいポスターセッ
ションのプレゼン方法や,効果的なデモンストレーションの方法を考えていきたい.
図 4.4
中間報告会の様子
(※文責: 倉崎隆城)
4.4
評価
中間発表の評価について 1∼10 の値で評価してもらったところ(評価人数 58 名)
,平均点は 7.15
点であった.おおむね高評価が示されたが,詳しい評価内容としては「ボイスチェンジャーという
発想が面白い」や「脳波で声を変えるというアイデアが面白い」などといった高評価な意見が多く
見られ,
「日常での会話でのことなので,共感できる部分が多く,将来は実際に実用できればいいと
思った」といった実際に使用する価値のあると感じられるという意見があった.しかし,発表につ
いての感想として「一度の発表が長すぎる」や「発表者がツールを使用して発表して欲しかった」
などの感想があった.
制作物であるツール NoticeVoice については,「完成されたツールのスピーカーの位置が首だと
使いにくいのではないか」,「地声とスピーカーからの声のラグで聞き取りにくそう」という意見が
あり,今後はその意見を考慮するべきであると考えた.それと,
「小さい端末(iPhone)などででき
れば面白い」や「遠隔利用できれば面白い」といった意見もあったが,現段階では「Mind Wave」
を使用しなければ脳波を計測することができないので,今後技術が発展することができればこの意
Group Report of 2013 SISP
- 27 -
Group Number 21-A
Mind Communication
図 4.5
中間報告会の様子
見を参考にツールを制作することができるのではないだろうか.
NoticeVoice の使用例として相手との会話をすることについての感想で,「脳波を使用して会話
の改善をするためには,現在の方法では不十分だと思う」や「自分の気持ちを知られたくないとき
に対する対処法を考える必要があると思う」,「声が変わってしまうと,嫌だと感じていることが公
開されてしまうので,自分も相手も気まずくなってしまうのでは」といった意見が見られ,条件付
けをしっかりするべきだと感じた.中間発表では「相手の不快になる話題を知り,今後その話題に
触れないように心がけることができる」というメリットを伝えきれず,「相手に気づかれたくない,
知られたくない自分の感情を知られる」というデメリットだけしか伝わらなかった.
もう一つの使用例としてあげたプレゼンを上手くすることについての感想で,「会話とプレゼン
は違うのではないか」といった意見が多く見られ,発表の中で「会話はプレゼンの中に含まれる」
ということをしっかり伝えきれなかった.また,「プレゼンの緊張とは関係ないのではないか」や
「プレゼンで緊張するのは人前だからではないか」などの意見があった.グループ A は「プレゼン
で緊張してしまうのは練習がしっかりできていなかったから緊張するのではないか」と考えたが,
そのことを上手く伝えることができなかった.「緊張」だけでは問題点が大きすぎるので,もう少
し考え直す必要性があると感じた.
(※文責: 松本大樹)
4.5
反省
発表を振り返って,もう少ししっかりと NoticeVoice についての内容を詳しく伝えられていれば
良かったなと感じられた.NoticeVoice はどのように脳波を読み取って集中やリラックスを計測し
ているのかという点と,相手の気持ちをどう判断して声を変えるのかという点を詳しく説明しきれ
なかった.また,NoticeVoice を実際に使用して,本プロジェクトの背景と目的を音読し,実際に
集中できているかを実演をする人を前半と後半の 2 人に分けていた.そのため,前半は上手く集中
とリラックス意を上手く操作して実演することができたが,後半は上手く集中とリラックスを操作
することができなかった.できれば,発表者が NoticeVoice を実際に装着してポスターセッション
を行えればベストだと思うが,説明をしながらリラックスするのは難しいので,今回は発表者じゃ
Group Report of 2013 SISP
- 28 -
Group Number 21-A
Mind Communication
ない人が実演を行った.しかし,NoticeVoice のプロトタイプを中間発表前までに完成するとは
思っていなかったので,私達グループ A の実装能力はなかなかの力があると感じたが,もう少し
計画性を持って行動することができれば,背景と取り上げた問題点,使用目的などをしっかりと考
え,煮詰めることができたのではないだろうかと考えられる. プロトタイプである NoticeVoice
を振り返って,コンセプトや発想に関してはアンケート結果などからもおおむね高評価であると感
じられた.しかし,中間発表前から,不快に思ったときの感情を声に乗せることは良いこととは感
じない人もいるかもしれないと考えていたが,中間発表までに彼らを納得させる回答を見つけ出す
ことができず,質問に対してしっかりした回答を出すことができなかった.「プレゼンは会話では
ないのではないか」という意見も見られ,「プレゼンは会話の一部」だと上手く説得することがで
きなかった.なので,本当に「プレゼンは会話の一部」なのかもう一度話し合うべきだと考えた.
後期では,集中とリラックスの基準や,相手が不快に思ったかどうかの基準をしっかりと判断で
きるようにするために,集中している時とリラックスしている時が分かりづらいシチュエーション
を想定して実験を行わなければいけない.そして,背景と取り上げた問題点についてしっかり煮詰
める必要性をアンケート結果を見て感じた.背景と取り上げられた問題点を見つめなおすことに
よって,目的も大きく変わってくるだろうし,アンケートで不評だった人たちに新しく考え直した
背景と取り上げた問題点,目的を見てもらうことで,良いツールだと思ってもらえるはずだと考え
た.しかし,声を脳波によって変えるという点については高評価だったので,ツールの内容につい
てはこのままの方向性で後期も活動していくつもりだ.
(※文責: 松本大樹)
4.6
後期に向けて
前期の活動では,脳波を測定し聴覚化することによって,観測者の集中やリラックスの度合いを
聴覚で感じ,知るということをコンセプトにして活動してきた.今回の中間発表では,制作物であ
る NoticeVoice のプロトタイプを作成することができ,実際に実演することができた.しかし,現
段階では満足いくだけの実験結果が足りなかったので,集中とリラックスの境界や,会話中に相手
を不快だと思わせてしまった時の脳波について詳しく把握することができなかった.これらは後期
で実験を行い,具体的な数値を把握することによって解決できるだろうと考えられる. 中間発表
は,各グループのブースを制作し,そこで各グループが提案する制作物の説明を行う説明員が各自
訪れた人にポスターや制作物を用いて説明するポスターセッションを行った.まず初めに,マイン
ドコミュニケーションプロジェクト全体のプレゼンテーションを行い,プロジェクトとしての活動
目的や活動内容を理解してもらい,その後各グループの興味のあるグループのポスターセッション
を聞いてもらった.ポスターセッションは先に説明員が制作物であるツールの背景や問題点,シス
テムについての説明を行い,その後各自疑問に思ったことを質問していくといった形式を取った.
しかし,時間が足りずきちんとした質問を受けることができなかったという意見もあったので,次
は時間配分を意識するべきだろう.それと,他のグループとブースが近いので,発表が聞きづらい
かもしれないということを考えると,各ブースの位置も見直すべきだと感じた. NoticeVoice を
使用する目的として「意図せず相手を傷つけてしまうことを減らしたい」と「プレゼンが上手く成
功するようにしっかりとした練習をしたい」だが,アンケート結果を見ると,もう一度しっかり考
察するべきだと判断した.相手を傷つけないためには相手が不快になる話題を知る,つまり相手の
感情を知ってしまうことになるが,それでは目的が言い過ぎではないかとアンケート結果を見て
Group Report of 2013 SISP
- 29 -
Group Number 21-A
Mind Communication
考えた.相手に自分の感情を知って欲しくないといった意見が多く見られたので,目的をもう一度
しっかりと考えるべきだと判断した.しかし,「遊びの道具としては凄い面白いと思う」や「ゲー
ム性を導入してみたら良いと思う」などの「おもちゃ」として使用すると良いのではないかといっ
た意見があった.なので,この意見を参考にして,背景や目的について考えていけばいいのではな
いかと考えられる. 今回の中間発表で,制作物であるツール NoticeVoice の背景からもう少し
しっかりと考え直すべきだと感じた.ボイスチェンジをする点は高評価であったので,この点を変
えずに,どのような場面で使用するか,使用することによってどのようなことができるのかなどを
考え,NoticeVoice をより良いコミュニケーションツールにしていくことが後期の課題であり目標
である.
(※文責: 松本大樹)
Group Report of 2013 SISP
- 30 -
Group Number 21-A
Mind Communication
第5章
5.1
制作物の詳細
背景
私たちは,普段生活している間で自分の集中状態やリラックスしている状態などを意識するこ
とがほとんどない.その中でもたびたび自分の状態を気にする事があるが,そのときの自分の状態
と感じている自分の状態,つまり無意識の自我(集中やリラックス)と意図(自分で思っている集
中やリラックスなどの状態)は必ずしも一致しないと気づいた.そこで脳波の変化をを声の変化に
乗せる事によって無意識の自我を自分で知ったり,他人に伝えることができれば,自分の事をよ
り知ったり,会話に面白みを付加しコミュニケーションをよりよくしたりすることができると考
えた.一人で使う場合は無意識の自我を知ることでプレゼンテーションの練習で使えたり,音楽,
絵画などにより自分がどのような影響を受けているのかを脳波の変化により自分で知ることがで
きる.また複数人で使う場合は,声の変化やそのときの状況,無意識の自我などの様々な要素の
ギャップにより会話が盛り上がったり,そのギャップ自体が会話のネタとなったりするのではない
かと考えた.
図 5.1 NoticeVoice のイメージ
(※文責: 杉本識吏)
5.2
コンセプト
コンセプトは「脳波変声機(NoticeVoice)で無意識を認知する」である.自分が意識しなくて
も変化していく脳波や自分ではわからない自分の状態,つまり無意識の自我を変声機によって認知
する事で生活に面白みが増したり,会話を盛り上げたり,会話の幅を広くすることができるなど生
活やコミュニケーションに様々な付加をすることができると考えた.「NoticeVoice」はユーザーの
脳波を声を変化させることで無意識の自我を自分で知ったり,他人に伝えたりできる.ヘッドセッ
トで脳波を測定した後,パソコンで集中とリラックスを分析し,強いほうが集中なら高い声に変わ
り,リラックスなら低い声に変えて出力することで無意識の自我を認知することができる.自分で
コントロールできず,また自分では普段認知することのできない脳波をただ声が変化する事によっ
て生活やコミュニケーションに違いが生まれるのではなく,声が変化したその先に無意識の自我が
存在し,それを認知する事により違いを生むことができ,さらに声の変化やそのときの状況,無意
識の自我などの様々な要素のギャップを生み出せるが,今回の製作物の背景としては無意識の自我
Group Report of 2013 SISP
- 31 -
Group Number 21-A
Mind Communication
(集中やリラックス)を知りたいということだったので,重要なポイントを押さえてコンセプトは
「脳波変声機(NoticeVoice)で無意識を認知する」となった.
(※文責: 杉本識吏)
5.3
背景
私達は無意識の自我(脳波)と意図(自分で思っていること)は必ずしも一致しない. 例えば, 自
分で集中していると思っていても脳波では集中していない場合や, リラックスしていないと思って
いても脳波ではリラックスしている場合などがある. そこで, 脳波の状態をユーザーの声に乗せる
ことで無意識の自我を知ることができるのではないかと考えた.
(※文責: 上田進太郎)
5.4
システム
今回の製作物では,1 人につき 1 台のコンピュータと,声を拾うためのマイク,変換された声を
出力するためのスピーカー,また脳波を測定するため,MindWave というヘッドセットを使用し
た.このヘッドセットは,ユーザの頭に付けることによって頭頂部と耳たぶまでの電位差をはか
り,脳波の信号を感知する.感知した脳波をプロセシングを通して解析,数値化,判定し,その
データを MAX によって声の変化に変える.声の変化は,その場の状況,声,無意識の自我などの
様々な要素のギャップが大きくなり,わかりやすく,面白みが増すようにするためにα波が多く出
て自分が安静した状態にある場合は声が低音になるようにし,それに対しβ波が多く出て自分が集
中状態にある場合ならば,声が高音になるように設定した.
(※文責: 杉本識吏)
5.5
仕様
我々の提案したツール「NoticeVoice」は,使用者の脳波の状態を声の変化によって出力するこ
とで無意識の自我を知る,または自分の無意識の自我を伝えることができるというものである.こ
のツールひとつにつき,一台のパソコンが必要となり,パソコンには MindWave で測定したデー
タを受信するための USB と音を拾うためのマイク,音を出力するためのスピーカーを接続してい
る.MindWave は使用者の測定した脳波データを USB にリアルタイムで送信することができる.
「NoticeVoice」は使用者の脳波を MindWave で測定した後,測定したデータをパソコンに送信し,
パソコンで受信したデータをリアルタイムで集計している.その後,集計された脳波のデータを基
に processing に記述してあるプログラムによって算出された値を MAX を通すことによって高音
または低音に音声の変換を行って出力する.
また,2 種類の声の変化は使用者の脳波のデータを基に processing に記述したプログラムで算出
された値で決められている.MAX による声の変化は,使用者の状態が集中状態なら高音,リラッ
クスしている状態ならば低音になるように決められている.この対応関係を図で表したものが以下
に添付した画像である.
「NoticeVoice」は使用者の脳波を MAX により集中状態なら高音とリラックス状態なら低音へ
Group Report of 2013 SISP
- 32 -
Group Number 21-A
Mind Communication
図 5.2 システム図
図 5.3
対応関係
と声を変化させ,使用者の脳波の状態をリアルタイムで音声として出力することで,使用者自身が
気づいていない現在の脳波の状態を自分で知ったり,他人に伝えることができる.変化した 2 種類
の声の変化を基に自分の普段は意識していなかったり,意識しても見ることができないので本当に
その状態にあるかがわからない集中状態やリラックス状態を知る,または伝えることができるツー
ルである. このツールは一人で使用することと複数人で使用することができるツールである.一
人で使用する場合は声の変化によって自分の脳波の変化を知ることができ,プレゼンの練習などの
自分の変化を知りたいときに使用することができる.また,絵画を見たときや音楽を聴いたとき,
人と接して他人から刺激を受けたときなど,周りからの刺激がある場合の自分の変化を知る事がで
きる.また複数人で使用する場合はお互いに刺激を受け合うことで声が変化し,自分の状態と他人
の状態,声の高低,会話の内容などの様々なギャップにより会話に面白みが増し,会話を盛り上げ
るパーティグッズのような使用方法のあるツールである.
(※文責: 杉本識吏)
Group Report of 2013 SISP
- 33 -
Group Number 21-A
Mind Communication
5.6
5.6.1
制作について
変声プログラムの構築
まず私達はパソコン内で行われる処理について考案し,Processing と MAX のプログラミングを
行った.Processing では mindwave で取得した脳波の平均化を行い,MAX に数値を送る処理をす
る.MAX では,Processing で平均化された数値を元に集音された音声を変換させる処理を行ってい
る. 変声の種類には高い声, 通常の声(エフェクト無し), 低い声の3種類がある. これはそれぞれ脳
波の状態と対応しており, 集中している時には声が高くなり, 安静の時には声が低くなり, その中間
が通常状態の声がでるような仕組みになっている.
Processing
MindWave で計測した脳波の数値をメモ張に毎秒記録していく.そのメモ張を Processing が読
み取り,毎秒ごとに 2 次元配列に入れていき,読み込んだ数値を使って計算していく.今回は,
h.alpha と h.beta の 2 つの数値を使用した.計算方法は, 以下の式を利用した.
x=
α−β
α+β
αが halpha,βが hbeta,X[i] は集中かリラックスか判断する配列である.つまり,α波が大き
ければ低音になるように MAX に指示を出し,β波が大きければ高音になるように MAX に指示
を出す.この X[i] の 5 秒間分の平均を取り,集中かリラックスか通常状態か判断する.
Max について
MAX での動きは,まず MindWave からの脳波データをもとに Processing で平均を出し,それ
が集中状態かリラックス状態または通常状態かの判断をしたデータを受け取る。そのデータをも
とに,あらかじめ設定されている音の加工のパターンを選択する.なお,音の加工の部分に関し
ては,VST プラグインである「KeroVee」を使用した.ただ,リアルタイムで声を加工するため,
KeroVee のパラメーター操作を直接エディット・ウィンドウからではなく MAX 上から操作でき
るようプログラムした.そこに,マイクを通して声が入ってくると MAX によって声が加工さ,リ
アルタイムでスピーカーから出力される.
(※文責: 倉崎隆城)
5.6.2
内装
考案
制作物内部の配線や基板をどう配置するかを考案した. 木の板を一枚用意して.制作物内部に基
板や配線を施すための仕切りを作成するための設計図などを作成し.制作物内部の寸法などを決定
した. また.スピーカーの部分はスピーカー本体のみの場合.音量が大きく不足してしまうので.
音量を増幅するためのアンプを電子回路で作成した. 主に使用した IC チップは 386 という音量を
続復させるアンプで.筒の中にうまく収まるように基板の配線やチップの配置などに気をつけ.出
来るだけ基板を小型化した.
(※文責: 上田進太郎)
Group Report of 2013 SISP
- 34 -
Group Number 21-A
Mind Communication
図 5.4 MindWave の外装
5.6.3
スピーカーとアンプの組み立て
電子回路には主に「386」という型番の IC を使用した. そのほかに電子回路で使用した部品を
以下に示す.
• カーボン抵抗 1/4W 10 Ω
• 電解コンデンサ 100 μ F 16V 105 ℃(2つ使用)
• 電解コンデンサ 10 μ F 16V 85 ℃(2つ使用)
• 半固定ボリューム 10k Ω
• ルビコンフィルムコンデンサ 0.01 μ F 50V
• プラスチック製バッテリースナップ
この電子回路はイヤホンで聞こえるほどの音量をスピーカーで鳴らすくらいまでに増幅させる
回路だ. 半固定ボリュームを回路に組み込むことで出力される音量をつまみを回すことで回路側で
も操作できるようになっている. スピーカーには外観の大きさと.音声の質や音量を考慮し.8 Ω
10W の広帯域用スピーカーを使用した. このスピーカーと電子回路の組み合わせで.ある程度の音
量と音質を確保することができ.充分にユーザーの変換された音量が聞き取れるようになった.
(※文責: 上田進太郎)
組み立て
材料を用意し.考案したものを実際に組み立てた. 材料として使用したものはマイク.スピー
カー.外装用の筒.内部を仕切る板.筒を密閉するためのゴム版などだ. まず.Illustrator などで
内部の設計図どおりに型を作成する. レーザーカッターを使用して板を Illustrator で作成した型ど
おり.綺麗に切り取る. 切り取った木片は設計図どおりに組み立てていく. この木片はパズルのピー
スのように組み立てることができる. そのあと.スピーカーを筒に装着し.木片に基板や配線を通
Group Report of 2013 SISP
- 35 -
Group Number 21-A
Mind Communication
して筒の中で破損してしまわないように慎重に内部の構築を進めた. ある程度の作業が終わって.
実際に音のなり方を調べた. マイクに声を出してみて.変声された音がよく聞こえるか.または聞
き取れるかを試した. 最後はスピーカーと反対側の穴にマイクを埋め込み.ゴムの板で丁寧に密閉
した.
(※文責: 上田進太郎)
5.6.4
外装
考案
次に制作物の外観をどのようにするかを考案し.ペーパープロトなどの作成を行った. ペーパー
プロトで様々な形を自分たちで作っていった. 少しいびつな形や大きさも様々なものをペーパープ
ロトで作成したが.あまりにもいびつな形は加工が難しく.相当の技術が必要であるため.外観は
シンプルなものにするよう統一した. 結果として.ユーザーが持ちやすい形など使いやすい形にこ
だわり.基調とする色も mindwave と同系統のものとした. 他にもロゴの作成や制作物のどの部分
にロゴを入れる場所なども考案した. ロゴはマイクとスピーカーの向きがわかりやすいように.ア
イコンを入れ.矢印のようなデザインにした.
(※文責: 上田進太郎)
図 5.5 NoticeVoice のロゴ
塗装
材料として用意した.筒はスチール製で空き缶のような素材だった. このままの状態では見た目
も悪く.肌触りも良いとは言えなかった. そこで.外観をイメージした通りのものに近づけるため
に.筒にプラスチック製の板を接着剤で貼り付けることで光沢を出した. 細かい隙間などにはパテ
を塗りこみ.乾かしてから紙やすりを使用してできるだけ筒状を維持させた. 着色は青色のスプ
レーで行い.凹凸やシミが出来ないようにまんべんなく着色した. 着色を施した後.Illustrator で
作成したロゴをシールとしてプリントし.制作物本体に貼り付けた.
(※文責: 上田進太郎)
Group Report of 2013 SISP
- 36 -
Group Number 21-A
Mind Communication
5.6.5
発生した問題と解決策
ハウリング問題
組み立て直後.実際に制作物を使用してみるとハウリングが発生してしまった. ハウリングはス
ピーカーとマイクが同じ空間にある場合に.マイクがスピーカーから出力されている音を継続し
て集音してしまうことに原因があり.耳をつんざくような音が発生する. この問題は使用するにあ
たって重大な問題なので.必ず解決する必要があった. スピーカーの裏側に綿を詰めたり.マイク
周辺部分のゴムの厚みなどを変更するなど.試行錯誤を重ねた結果.この「Notice Voice」の場合.
スピーカーとマイクとの距離が十分にとれていないことや.音量が大きすぎることなどが原因とし
て挙げられた. 最終的にはスピーカーの音量の調節やマイクの向きなどを変更することで解決した.
(※文責: 上田進太郎)
音声のラグについて
当初.この「Notice Voice」はマイクとスピーカー共に Bluetooth が組み込まれたものを使用
し.無線で制作物が使えるように計画していた. しかし.製作を重ねていく中で.声を出してス
ピーカーから音が出るまでに数秒のラグがでるという問題が発生した. この問題は Bluetooth の送
受信速度が遅いために発生していた. 本来 Bluetooth というものは速度を重視して作られたもので
はなく.省電力や小型化をメインに開発されたものだ.実際に.ラグが発生している状態で制作物
を使用してみたところ.実際に話している声とスピーカーから出ている声が互いに邪魔し合ってし
まい.話している声が認識しにくい状況になり.この制作物に Bluetooth 方式は向かないことが
判明した.Bluetooth の使用は断念しすべて有線のもので補ったところ.ラグの問題は解決した.
(※文責: 上田進太郎)
5.7
5.7.1
各自の役割
倉崎隆城
私は,今回のプロジェクトを通してグループリーダーを担当した.リーダーとして,グループの
話し合いをまとめたり,持ち物や提出物の確認の連絡を入れたりなど,率先してグループをひっ
ぱった.どのようなデバイスを制作するかを話し合うときには,KJ 法を用いて意見を出しあう中
で,積極的に意見を出していった.案をまとめる際にも,率先して動き,みんなが発言しやすいよ
うに配慮した.案が固まってきたあたりで,実際にどんな形にするかなどの話合いの中で,絵を書
いてみたり,ロゴを考えるのを手助けするなど,デザイン的な面でも少し貢献できたと思う.デバ
イスの制作に入る中で,私は主にプログラミングを担当した.初めのうち,Processing を重点的に
担当した.Processing と Max を繋げることや、リアルタイムで MindWave からデータを受け取
るのに苦労した.後期は Max を担当した.初めて触れる言語で,初めは何もわからず苦労したが,
参考書などを参考に少しずつ覚えながら作業した.外装に関しても、担当はしていなかったが、意
見をだしたり、ちゃんと使えるか確認を行った.グループリーダーとして,担当していない部分も
しっかりと確認し報告し合いながら進めた.発表は,発表者とデモを行う人に分かれておこない.
中間発表と最終発表を通してどちらも経験した.発表のときは相手に伝わりやすいよう,ポスター
Group Report of 2013 SISP
- 37 -
Group Number 21-A
Mind Communication
では分かりづらいことを伝えられるよう意識して発表できた.デモは,よりデバイスのよさが伝わ
りやすいデモを発案した.本番では,上手く観客を巻き込んで,よさが伝えられるデモを行えたと
思う.
(※文責: 倉崎隆城)
5.7.2
上田進太郎
本プロジェクト内で私はプロジェクリーダー及び,グループ A のメンバーとして活動した.プ
ロジェクトリーダーではプロジェクト全体の進捗管理,スケジュール管理や飲み会の幹事などを取
り組み,締め切り間近の作業を避けさせ,ゆとりを持って作業させることで制作物の質を高めるこ
とを狙いに活動してきた.グループ A のメンバーとして活動したことは,自分がデザインコース
に所属していることを活かし,ブレインストーミングや KJ 法などで案を出す方法をメンバーに指
導した.ブレインストーミングと KJ 法では,グループのメンバーで「日常生活における問題点」
について洗い出し,その中から自分たちの作りたいものと合致するものを選出し制作物のイメージ
を形にしてきた.また,Illustrator や Photoshop を使用し,レイアウトの作成を始め,写真の編
集やアイコンの作成をなどポスター製作全般の作業を担った.本プロジェクトでは様々な技術を使
用し,コミュニケーションツールの製作を行ってきた.その中で自分が新しく習得した技術は電子
回路についてだ.グループ A では「NoticeVoice」という主にスピーカーとマイクを使用したツー
ルを作成した.このスピーカー部分には電子回路が接続されており,電子回路の製作と接続ははん
だごてを使用して制作した.当初,私は電子回路の知識が乏しかったため先生の指導の元に,実際
に回路を組んでみることから始めた.これから,電子回路の基本的な部分とはんだごての扱い方な
どを習得しながら「NoticeVoice」におけるスピーカーとアンプ部分の製作を担った.
(※文責: 上田進太郎)
5.7.3
松本大樹
私は制作物である「NoticeVoice」の作成に携わった役割として,大まかにであるが二つある. 一つ目は,
「NoticeVoice」のプログラムの作成である.「NoticeVoice」で使用したプログラム言語
は「Processing」と「Max」の二つで,前期は同じグループの倉崎と協同でプログラムの作成を進
めていたが,後期からは「Processing」でのプログラム作成を私が,「Max」でのプログラムの作
成を倉崎が担当した.前期の段階で,二人でプログラムを作成した分,後期では大まかな修正を行
うことはなく,プログラムの作成に詰まった時も,元が前期で作成した内容なので,サポートもし
やすかった.他にも,プログラムの作成だけではなく,どのような声に変えるかや,脳波がどのよ
うな状態の時に,どの声の変え方をするかの考察も携わった.その際に,脳波の数値を測定する式
を取り入れたのも私であり,多くの実験データを必要とした.なので,プロジェクトメンバーに協
力をしてもらい,脳波であるα波やβ波の数値がどれほどあれば集中しているのか,またはリラッ
クスしているか,通常状態なのかを求めた. 二つ目は,
「NoticeVoice」の外枠の作成である.外
枠は金属の円柱である筒を加工し,薄いプラスチックの板で筒を覆い,塗装をした.その際,工夫
した点もある.薄いプラスチックの板を覆う時に,覆い終わったときに出来る接合部分をパテを塗
り,手作り感を無くそうとした.接合部の凸凹を綺麗にし,つるつるに仕上げるのには集中力を必
要とし,大変な作業であった.塗装も均等に色を塗り,
「NoticeVoice」の完成後もところどころ色
Group Report of 2013 SISP
- 38 -
Group Number 21-A
Mind Communication
が薄い箇所や塗らさってない部分をチェックしては塗り直しを行った. その他にも細々としてい
るが沢山のことを行ってきた.「NoticeVoice」の実装は私が率先して行ったり,中間発表のプレゼ
ン方法の評価を元に,実際に「NoticeVoice」を使ったデモ(実演)を行うを考えた.しかし,デモ
の案は自分一人ではなく,メンバー全員との話し合いで生まれたアイデアである.最終的には現状
の技術力では無理だという結論に至り,没案となってしまった Bluetooth を使い「NoticeVoice」
を無線化する計画も,率先して進めていた. 今回のプロジェクト活動を経験して,チームを組
み,自分達で興味を持った事柄に取り組むことができた.デバイス完成という目標も無事達成で
き,これからの人生で自信を持つことができる良い経験であった.
(※文責: 松本大樹大樹)
5.7.4
杉尾千芙未
制作にあたり、主に自分はイメージイラスト制作や制作物の外装などのデザイン,加工する音の
案などの調整に関わることを行った. 前期に行ったコンセプトシートの制作では,メガホンを
使ったツールを提案し,最終的な制作物NoticeVoiceにつながった.また他のメンバー
が出したアイデアのイメージイラストを作成し,プロジェクト内の進捗報告や中間報告会、ポス
ター制作の際に使用した.また後期には,制作物の外装の構想をたて,adobe illustrator を使用し
てロゴの制作を行った.ロゴは全体を矢印に見立てて方向を表し,NoticeVoice の”i”を 180°回
転させ”!”にして「気づく」ことを表現した.大まかな形が決まったあとは配色パターンを何
通りか制作,印刷したものをグループに発表し,アンケートをとり最終的に決定した. Max と
Kerovee を用いた音声加工では,加工のパターンを考え,人間のしゃべり方に関する論文を読むこ
とで加工する音の根拠となりうる情報を集めた.そのなかにあった「話し声が高い人は軽率,明る
いイメージ」「話し声が低い人は誠実で落ち着いたイメージ」という情報をもとに,制作物の音の
加工パターンを決定した.また Kerovee の調整では,ピッチとフォルマントの調整パターンを大
量につくり,最も変化がわかりやすくイメージにあったものを制作物に使用した. また最終発表
では,発表者としてポスターセッションを行い,質疑応答を行った.自分は今まで人前に出て話す
機会が少なかったが,グループのメンバーと協力し発表練習を行い,あり得る質問を洗い出し入念
に準備することで発表会を成功させることができた.
(※文責: 杉尾千芙未)
5.7.5
杉本識吏
本プロジェクトで私は製品を明確化するための KJ 法やブレインストーミングで積極的に意見
を出した。特に脳波を音にするというテーマだったので、脳波を用いて出した音をさらに自分に
フィードバックするような製作物の案を出した。 次に製品の製作が始まってからは製品の内装
と外装を担当した。まず、製品の材料として必要な物を様々な店に行き、品定めして集めた。そし
て、集めてきた材料を用いてどのように部品を製品の中に納めるか、また骨組みをどのように作る
かなどの設計を行った。設計図ができてからは、設計図のとおりになるように、スチール製の筒の
そこを缶きりとやすりを用いてきれい切り抜いた。次にスピーカーの余分な金属部分をペンチで折
り曲げ、筒にはめた。そして中の骨組みを作るために厚さ 4 ミリの木の板を設計図どおりにレー
ザーカッターで切り抜き組み立てた。組み立てた骨組みの間に基盤、電池、コードなどを収納し中
Group Report of 2013 SISP
- 39 -
Group Number 21-A
Mind Communication
に格納した。最後に厚さ 10 ミリのゴムの板を円形に切り、ゴム栓を作り、ゴム栓の真ん中に穴を
開け、そこにマイクをはめてストッキングを切って作ったポップガードをかぶせもう一枚の厚さ 2
ミリのゴム栓ではさんだ。 外装は、プラスチックの板を巻きつけ、パテで溝を埋めて、上からス
プレーで色を塗り、製品のロゴの入ったシールを貼り完成させた。 プロジェクトの発表では中間
発表、最終発表の両方でプレゼンターを務めた。プレゼンテーションの途中には聴衆を参加させる
デモを行うことでよりわかりやすいプレゼンテーションを心がけた。
図 5.6
制作した内装・外装
(※文責: 杉本識吏)
5.8
ユーザーシナリオ
ここでは,NoticeVoice を使用すると思われる場面でのユーザーシナリオの一部を紹介す
る.NoticeVoice は、日常生活の中で他人と関わる際に使用することで,自分や相手の無意識の自我
を知ることが目的であり,さまざまな活用シーンがある.
(※文責: 倉崎隆城)
5.8.1
日常会話
普段の会話の中で,会話に参加している全員が NoticeVoice を使用する.会話の中で使用する
と,いつもの会話ならお互いの雰囲気や,相手の表情,喋り方などから相手の状態を推測するしか
ない.これでも会話を行うことに関しては不自由はないが,ここにその人の状態(集中やリラック
スなど)が加われば一気に会話の幅が広がる.たとえば,不意に振られた話題で動揺するようこと
があっても,通常の会話の中なら,ある程度は隠したりごまかしたり出来る.しかし NoticeVoice
で状態が声によってわかると,相手に動揺していることが伝わってしまう.そうなれば,態度は隠
そうとしているのにも関わらず,声が本当の状態を伝え,そのギャップによって会話を盛り上げる
ことができる.また,ギャップだけに関わらず,そのギャップが生じてしまった,という事を元に
会話の話題が増え,より会話を広げていくことが出来る.また,ギャップだけでなく,本当の気持
ちをストレートに伝える際に状態を表す声も乗ることで,より相手に伝わりやすいように手助けす
ることもできる.
Group Report of 2013 SISP
- 40 -
Group Number 21-A
Mind Communication
(※文責: 倉崎隆城)
5.8.2
プレゼン練習
プレゼン練習をする際に,この NoticeVoice を使用する.普段自分では意識することのできない
集中状態やリラックス状態を,自身のプレゼンしている声の変化によって知ることができるように
なる.そうすることで,例えば集中して力を入れなければならない部分でリラックスしてしまって
いる場合,今まで自分では集中していたと思っていたところでも,実際は集中できていなかったと
いうことを認識することができ、逆にリラックスして柔軟に対応をしなければならない部分で硬
くなってしまっている場合,今まで自分では柔軟に対応していたと思っていたところでも,実際は
リラックスできていなかったということを認識することができる.また,認識するだけにとどまら
ず,その部分を意識的に集中またはリラックスすることが出来るようになるので改善することがで
きる.ほかにも,全体を通して集中している声でプレゼンするという目標を立てながら使用するこ
とで,集中力を持続させるトレーニングをすることも出来る.このように,プレゼン練習をする際
に使用することで,より質の高いプレゼンの練習をすることができ,本番での自身の状態を意識し
ながら練習に取り組むことが出来る.プレゼン以外にも,朗読や,司会の練習などにも役立てるこ
とができる.
(※文責: 倉崎隆城)
5.8.3
謝罪
謝罪をするような真剣な場面において,リラックスして謝罪を行うということはほとんどない.
そのような場面で,あくまで遊びの一環として謝罪される側が謝罪する側にこの NoticeVoice を装
着させて使用する.集中やリラックスは”無意識の自我”であるため,いくら謝罪の際の態度や表
情がまじめなものに見えていても,実際に集中し,真剣に謝罪を行っているのかはわからない.も
しかしたら,てきとうな態度でその場に立ち,てきとうな気持ちで謝っているかもしれない.そこ
で,この NoticeVoice を使用することで,実際の声の変化として,偽ることの出来ない”無意識の
自我”を知ることが出来るので,もし集中した声がでているのなら,しっかりとした,真剣な気持
ちで相手が謝罪していると知ることができ,反対にリラックスした声や通常の声が出てしまうのな
ら,真剣に謝罪しているわけではないということがわかる.その結果,真摯な態度で謝罪していた
ことはより一層しっかりと伝わる.
(※文責: 倉崎隆城)
5.8.4
ゲーム(ポーカー)
ゲームをする際に使用することでより盛り上げることが出来る.一つの例としてトランプを上げ
る.トランプの中でも,ばば抜きやポーカーのような心理戦を行うものでこの NoticeVoice を使用
することで,よりゲームを面白くすることが出来る.例えば自分の手が弱い場面で勝負にでるとす
る.そのような場面でもし NoticeVoice を使用しないでゲームをやっている場合は,態度や表情,
台詞などでいかに自分がもっている手札が強いものであるかという嘘を信じさせ,相手に勝負を降
りさせるというような展開で自分を勝利に導く.そのような場面で,もし NoticeVoice を使用して
Group Report of 2013 SISP
- 41 -
Group Number 21-A
Mind Communication
いたら,いくら自分が強がっていても,無意識に自分が弱気であり,力んでしまっているような状
態をあらわすような声に変わってしまい,自分の手札に自身が無いことを相手に知らせてしまう.
一方で,脳波というものは自身の素の状態が現れていしまうが,訓練を行えば,ある程度自分の脳
波をコントロールすることが出来るようになる.仮にこのゲームを行っている人たちが自分の脳
波をある程度コントロール出来るのなら,表情や態度,台詞などに加え,脳波を使っての騙し合い
という形になり,従来のポーカーより,さらに難易度の高い騙し合いのゲームが可能になり,場を
盛り上げることが出来る.コントロールできなかったとしても,相手の動揺や冷静さが筒抜けにな
り,それはそれで盛り上がることが出来る.
(※文責: 倉崎隆城)
5.8.5
パーティ(握手)
NoticeVoice を使えば,パーティなどの場面でみんなで盛り上がることができる.例えば,誰か
この NoticeVoice を使用する人を決め,デバイスを装着する.その状態で,その場にいる何人かと
握手をしていく.もし,使用している人が女の人とのコミュニケーションが苦手だった場合,男の
人との握手の場合はリラックスまたは通常状態の声が出る.しかし,女の人と握手すると緊張や焦
りなどから力んでしまい,集中状態の声が出てしまう.結果として,集中状態の声と普段のその人
の声のギャップや,ほかの男の人たちはなんともなかったが,女の人の時だけ声が変わってしまう
ことで,ギャップや意外性などで場を盛り上げることが出来る.握手以外にも,普段表情をなかな
か変えないような感情の読み取りづらい人に使用させ,本当の状態を知ったり,逆にいつも明るい
ようなムードメーカーな人に装着させて本当の反応なのかを知るなど,パーティの場面ではいろい
ろな活用法が考えられる.
(※文責: 倉崎隆城)
5.8.6
講義
講義中に使用する.講義を受講している生徒に MindWave を装着する.そして,先生自身が
NoticeVoice を使用する.もし,生徒たちが一生懸命に講義に参加し,話を聞いているなら,先生
は集中した声で講義を行うことになる.一方で,もし生徒が集中していなかったら,先生の声はリ
ラックスしたときの声となり,教室に響き渡る.これによって生徒も先生も講義のときの生徒の状
態が分かり,授業の改善や,生徒の意識の変化を促すことが出来る.例えば途中まで生徒たちが集
中していたのにも関わらず,ある部分に差し掛かるとリラックス状態になってしまったとする.そ
の場合,生徒が集中していなかったと言うことから,先生の講義がその部分に関してだけ分かりづ
らかったり,退屈なものであったことによるものだと捕らえることや,単に学生のやる気がだれて
きてしまっていたなどというような推測が出来る.そういう部分を知ることで,講義全体の質の向
上につなげることが出来る.
(※文責: 倉崎隆城)
Group Report of 2013 SISP
- 42 -
Group Number 21-A
Mind Communication
第6章
6.1
最終報告
全体発表の評価・反省
本プロジェクトである「MindCommunication」の全体発表について 1∼10 の値で評価しても
らったところ(評価人数 71 人)
,平均値は 7.43 点であった.おおむね高評価が示されたが,詳しい
評価内容としては「研究内容がわかりやすかった」や「ポスターに沿っての説明でわかりやすかっ
た」
,
「ポスターの図と字のバランスが良い」などポジティブな意見があり,ポスターセッションの
取った意味が感じられた.しかし,ポスターセッションにしたせいか,ポスターの内容をただ読ん
でいるだけになってしまっていたことや,相手を「見る」ことや「目配り」が疎かになってしまっ
たことがあった.反省点は,ポスターセッションはいいが,聴衆者をもう少し意識したプレゼンを
心がけるべきだった.
(※文責: 松本大樹)
図 6.1 発表内容の評価(横軸:評価点数,縦軸:人数)
6.2
GroupA の発表について評価・反省
私たち GroupA の成果物である NoticeVoice について 1∼10 の値で評価してもらったところ
(評価人数 57 人),全体の平均は 7.8 点であった.おおむね高評価が示され,中間発表時よりも平
均点数は向上した.
(※文責: 松本大樹)
Group Report of 2013 SISP
- 43 -
Group Number 21-A
Mind Communication
図 6.2
6.2.1
発表内容の評価(横軸:評価点数,縦軸:人数)
GroupA の制作物について評価・反省
制作物に対しての評価内容としては「相手に伝えたい感情とはうらはらな声が出てしまうという
発想が面白い」や「この機能が応用化されたら(相手の感情が完全に分かってしまったら)とても
怖いが,それでも面白いと思います」,「シンプルに楽しめるもので面白かった」,「表現がダイレク
トで面白い」などのポジティブな意見がとても多かった.その中で「これが無線化できるようにな
ればなお良いと思う」という意見があり,私たちも考えていた NoticeVoice の無線化が,今後の目
標であることがより明確になった.しかし,「声を変えてどうしたいのか分からない」や「実生活
でどう使うのか分からない」のような,発表内容で伝えたはずなのだが,しっかりと理解してもら
えなかった人たちもいたので,もう少し分かりやすく説明するべきだった.
図 6.3
最終発表の様子
(※文責: 松本大樹)
Group Report of 2013 SISP
- 44 -
Group Number 21-A
Mind Communication
6.2.2
GroupA の発表について評価・反省
発表に対しての評価内容としては「デモ(実演)のおかげでより分かりやすかった」という意見
があり,中間発表の反省で「発表者がツールを使用して発表して欲しかった」というのが挙げられ
たが,最終発表ではこの意見を考慮し,デモの内容を考えた我々としてはとても喜ばしかったが,
「デモ(実演)のときの音量が少し小さかった」という意見があり,発表中やデモ中に聴衆者に音
量が小さくないか確かめることをすれば良かったと反省している.
(※文責: 松本大樹)
6.2.3
GroupA 全体の評価・反省
GroupA としての最終発表の総評としてはおおむね良かったと思われる.プレゼン発表者も事前
に練習して成果が出たのか,評価も良かったし,実演担当も本番では NoticeVoice を上手く使うこ
とができ,しっかりと聴衆者に分かりやすくプレゼンすることができた.
(※文責: 松本大樹)
6.3
ポスター制作
後期のポスター制作は,前期と同じように話し合いを徹底的に行ってから作成した.前期の発表
でのフィードバックをもとに,デバイスの背景や問題点など,大幅な修正が行われたため,前期の
ポスターを元に1から考え直した.後期のポスターでもっとも注意した点はポスターのレイアウト
についてである.前期とは違いポスターが2枚構成となったため,文章量や,図の量も増やす必要
があるため,レイアウトが苦労した.具体的な工夫としては,デバイスの写真を1枚目に大きく貼
ることで,デバイスが一目ででわかるようにした.また,空白に意味を持たせ,グループ感を出し
て線をできるだけ少なくなるように調整した.レイアウトのほかには,音という形のないものをア
イコンという形で表現することに苦労した.
文章については,フィードバックなどによってある程度背景やコンセプトの方向性が見えていた
ので,数回の話し合いでまとめることができた.今回の文章でとりわけ苦労したのは,背景と概要
についてである.背景やコンセプトが大幅に変わったため,概要も変更しなければならず,そのた
めユーザーシナリオを一から考え,そこから概要を起こすことになった.ユーザーシナリオを考え
る際には,実際にデバイスを使用したり,どのような場面で使いたいかの話を聞くなどして,具体
的なシナリオを考えていった.最後に先生たちから意見をもらった結果,コンセプトが広すぎると
いうことで,軽い修正を加えるなどしたが,そのほかの点に関してはそれほど修正はなく,前期の
経験と、フィードバックをうまく生かして作成することができた.一目見ただけでデバイスの内容
や見た目が伝わるようなポスターを作成できたと思う.
(※文責: 倉崎隆城)
Group Report of 2013 SISP
- 45 -
Group Number 21-A
Mind Communication
図 6.4 最終発表でのポスター 一枚目
Group Report of 2013 SISP
- 46 -
Group Number 21-A
Mind Communication
図 6.5 最終発表でのポスター 二枚目
Group Report of 2013 SISP
- 47 -
Group Number 21-A
Mind Communication
第 7 章 今後の課題と展望
7.1
今後の課題と展望
今回の最終発表では、脳波を測定し,その脳波の状態によって声を変え,無意識の自我を知ると
いう一通りの機能を完成させた状態の制作物をデモで使用することができた.声が変わる条件とし
て,今まで日常では意識してこなかった脳波という新しい要素を使わなければいけないという斬新
なアイディアは多くの聴衆者に興味や好感を持ってもらうことができた.しかし,最終発表におい
て今後 NoticeVoice を発展させるため,改善する点がより明確になって見られた.
まず一つ目に,NoticeVoice に使用されているスピーカーやとマイクが有線であり,パソコンと繋
がっているので,NoticeVoice を使用するにあたってパソコンとの距離に制限があるという問題で
ある.NoticeVoice を制作する初期段階では,スピーカーとマイクは無線であった.しかし,無線
マイクが今の技術では音質の良い小型の無線マイクというものが存在しなかった.一番小さな無線
マイクだとしても,カラオケ店などで使用されている無線マイクほどの大きさしか存在しなかった
ので,NoticeVoice の大きさを考慮して,今回は有線マイクを使用することに決めた.
スピーカーは NoticeVoice の外枠が完成するまで,SONY 社のワイヤレスステレオセット SBH20
に付属されている Bluetooth をスピーカーに接続していたが,使用した Bluetooth 受信機の性能
が悪く,タイムラグが大きいことや,音質の悪さが目立ってしまったため,止むを得なずスピー
カーも優先にしてしまった.この問題を解決するには,我々ではどうしようもできず,世界の技術
力が上がり,小型で性能が良い無線マイクや Bluetooth 受信機が開発されるのを待つしかない.
二つ目に,NoticeVoice のデザイン,主に外枠である.今回使用した外枠の採用理由は,「加工
しやすい素材であること」と「片手で持てる大きさであること」,「スピーカーの大きさと外枠の大
きさがある程度同じ大きさであること」の三つである.しかし,NoticeVoice のプログラムや概要
などに時間が取られてしまい,外枠の素材をしっかり探す時間があまり取ることができなかった.
最終発表の評価でも「デザインをもう少し考えたほうがいいかもしれない」といった意見があり,
今後改良するにあたっては,デザインに力を入れる必要がある.現段階で改良するポイントとして
は,今回作成した NoticeVoice の形は円柱であるが,円柱以外で持ちやすい形にすることである.
もう一つは,NoticeVoice に電源や音量の調節ができるスイッチを搭載することである.現状,前
者は我々の望む形の外枠になる素材が販売していれば,問題は解決するが,後者は我々の制作物を
開発する技術力では難しいと思われる.しかし,不可能なことではないが,この二つを行うには技
術力を高める必要がある.
三つ目に,人によって体格などが違うように,脳波も人それぞれによって測定される数値が違う
ことである.本プロジェクトでは,Neurosky 社が開発した MindWave というデバイスを使用し
た.このデバイスを使用して脳波を計測した.大まかな集中やリラックスは読み取れるのだが,細
かい数値までは一緒ではないので,脳波の状態によって変声する基準が人によって少しではあるが
誤差が生じてしまう.今後は,この誤差をどうするか考察し,すべての人に対応したデバイスにし
ていく必要がある.
最後に,脳波の状態によって変声の種類の数である.最終発表で使用した NoticeVoice では,リ
ラックスしているときと,集中しているときしか声が変わらず,通常状態である(リラックスも集
中もしていない)と判断したときには声が変わらない.つまり,変声の種類は二種類しかなかっ
Group Report of 2013 SISP
- 48 -
Group Number 21-A
Mind Communication
図 7.1 NoticeVoice の外枠と構造
た.しかし,開発段階では五種類ほどの変声の種類があったのだが,少し聞いただけでは違いが
分からないのも存在した.それに,NoticeVoice の背景と概要では無意識の自我(集中とリラッ
クス)を知るということであり,この二種類の状態を知ることができれば良いと判断した.今後,
NoticeVoice を改良するならば,集中とリラックスとそのどちらでもない状態を明確にし,もう少
し変声の種類を増やしていけばより良いものになる.従って,変声の種類を増やすには,集中とリ
ラックスとそのどちらでもない状態のより明確な脳波の数値を把握する必要がある.
(※文責: 松本大樹)
7.2
全体の展望
前期においては,調査,実験,解析,技術習得,提案,実装,発表までの一連の流れを経験でき
たが,時間に追われ提案の使用シーンなどを深く考え,つめることができなかった.提案の意義や
使用シーンなどをより深く詰める必要があったと考える.中間発表では,実際に実装した外枠がな
いプロトタイプをさまざまな人に見てもらい,より多くの人から具体的な感想意見を得ることがで
きた.また,プログラムを作成するチームと外枠のデザインやデバイスの概要を考察するチームに
分かれたことにより,お互いの進捗状況の確認やそれぞれの考えを統一することが重要だと強く感
じた.後期においては,前期の反省を生かし,スケジュール管理をしっかり行い,話し合いに時間
をかけることができたため,よりステップアップした提案・発表を行うことができた.特に中間発
表で課題となったプレゼン発表では,制作物となる NoticeVoice を実際に使用したデモを行い,質
の高い発表ができた.
最終発表も中間発表同様,各グループのブースを制作し,そこで説明員が各自訪れた人にポス
ターや制作物を用いて説明するポスターセッションを行った.まず初めに,マインドコミュニケー
ションプロジェクト全体のプレゼンテーションを行い,プロジェクトとしての活動目的や活動計
画を理解してもらい,その後各グループの興味のあるところに移動してもらい,ポスターセッショ
ンを行った.ポスターセッションは対話形式とデモであったため,より生の意見や感想を得ること
ができ,実際に NoticeVoice を使うことによって,NoticeVoice はどういうものなのかを知っても
Group Report of 2013 SISP
- 49 -
Group Number 21-A
Mind Communication
らった.しかし,一回に説明する人数に限りがあったり,時間がかかることから,すべてのグルー
プの発表を見たくても,時間が足りずきちんとした説明を受けることができなかったという意見が
あった.また,他のグループの発表との距離が近かったため,声が混ざって聞きづらいという意見
や,デモで使用した NoticeVoice の音が少し小さくて聞きづらいという意見があったので,各グ
ループのブースの配置を変えるなど,発表形式については今後改善するべきの一つである.
ポスターにおいては,最終発表において説明員が説明することを前提として作られたものでは
なく,図などを使って,時間がなくポスターしか見てない人でもわかりやすいポスターになってい
る.そのため,最終発表でのアンケートでも「ポスターが見やすい」などの評価があった.
私たちは NoticeVoice を「脳波変声機で無意識を認知する」というコンセプトのもと提案した.
これは,日常では目で見ることも認知することもできない脳波を,声に付加することによって,自
分の状態や無意識の自我を知りたいという意味がこめられている.現在ではヘッドセットやパソ
コンなどが必要であり,想定される使用場面も少ないが,これらの制限が将来無くなるとすれば,
NoticeVoice の可能性もより広がり,さまざまなシーンを考えることができるだろう.日常的な
シーンにおいても,より多くの使い方が生まれることによって,コミュニケーションに繋がってい
くのではないだろうか.
(※文責: 松本大樹)
Group Report of 2013 SISP
- 50 -
Group Number 21-A
Mind Communication
付録 A Processing のソースコード
/*
import oscP5.*;
import netP5.*;
OscP5 oscP5;
NetAddress myRemoteLocation;
String lines[];
float
{
0,
}
, {
0,
}
, {
0,
}
, {
0,
}
, {
0,
}
};
[][] number = {
0, 0, 0, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 0, 0, 0, 0, 0
float average = 0.0;
int voice = 0;
int i;
int g;
float [] x = new float[5];
int flag;
float count = 0.0;
String win;
void setup()
{
frameRate(1);
size(400, 400);
background(255);
oscP5 = new OscP5(this, 12001);
myRemoteLocation = new NetAddress("127.0.0.1", 12000);
i = 0;
}
Group Report of 2013 SISP
- 51 -
Group Number 21-A
Mind Communication
void draw() {
lines = loadStrings("bmi_log.txt");
String point[] = split(lines[0], ’,’);
int data[] = int(point);
for (int j = 0; j < 10; j++) {
number[i][j] = data[j];
count = count + 0.1;
}
x[i] = (number[i][3] - number[i][5]) / (number[i][3] + number[i][5]); //(α+β)/(α?
β)
i++;
if (i == 5) { //5 秒経つと flag が 1 になる
flag = 1;
i = 0;
}
if (flag == 1) { //flag が 1 のとき、つまり 5 秒経ってから
for (g = 0; g < 5; g++) {
average = average + x[g];
}
average = average / 5;
}
if (average <= 0.001){ //くらは 0.1
voice = 1;
}
/*if (average > -0.4 && average <= -0.15) {
voice = 2;
}*/
if (average > 0.001 && average <= 0.4) { //くらは 0.15 0.5
voice = 3;
}
/*if (average > 0.15 && average <= 0.4) {
voice = 4;
}*/
if (average > 0.4) { //くらは 0.5
voice = 4;
}
background(255);
textSize(10);
fill(0);
Group Report of 2013 SISP
- 52 -
Group Number 21-A
Mind Communication
text("beta", 10, 10); //h_alpha(リラックス)の配列
text(number[0][5], 10, 30);
text(number[1][5], 10, 40);
text(number[2][5], 10, 50);
text(number[3][5], 10, 60);
text(number[4][5], 10, 70);
text("alph", 10, 90); //h_beta(緊張)の配列
text(number[0][3], 10, 110);
text(number[1][3], 10, 120);
text(number[2][3], 10, 130);
text(number[3][3], 10, 140);
text(number[4][3], 10, 150);
text(count, 10, 170);
text(voice, 10, 180);
text("X", 10, 200); //h_beta(緊張)の配列
text(x[0], 10, 210);
text(x[1], 10, 220);
text(x[2], 10, 230);
text(x[3], 10, 240);
text(x[4], 10, 250);
text("AVERAGE", 10, 270);
text(average, 10, 280);
OscMessage myMessage = new OscMessage("/test");
myMessage.add(voice); /* add an int to the osc message */
/* send the message */
oscP5.send(myMessage, myRemoteLocation);
}
*/
Group Report of 2013 SISP
- 53 -
Group Number 21-A
Mind Communication
参考文献
[1] 中村稔, ”脳波で操作”の時代はすぐそこに, http://pc.nikkeibp.co.jp/article/basic/20111209/1039540/,
2013 年 7 月 23 日最終アクセス
[2] NIA GAME CONTROLLER : OCZ Technology, http://eolref.ocztechnology.com/niagame-controller.html, 2013 年 7 月 23 日最終アクセス
[3] SLG 会話講座, http://kaiwa-kouza.com/contents/sub/yougo/structurebrain.html, 2014
年 1 月 15 日最終アクセス
[4] アルファティク IV, http://nouhasokutei.jp/whats.html, 2013 年 7 月 23 日最終アクセス
[5] 東芝, MindTune, http://www.mindtune.jp/products/, 2013 年 7 月 23 日最終アクセス
[6] ニューロウェア, mico ,http://engineer.typemag.jp/article/mico, 2013 年 7 月 23 日最終ア
クセス
[7] NeuroSky, MindWave, http://store.neurosky.com/products/mindwave-1, 2013 年 7 月 23
日最終アクセス
[8] Kerovee, http://www.g200kg.com/jp/software/kerovee.html, 2014 年 1 月 15 日最終アク
セス
[9] Max, http://cycling74.com/, 2013 年 7 月 23 日最終アクセス
[10] 大 久 保 雅 基,[Max
チ ュ ー ト リ ア ル]1.
ボ イ ス チ ェ ン ジ ャ ー,
http://www.nicovideo.jp/watch/sm15495906, 2013 年 7 月 23 日最終アクセス
[11] Processing, http://processing.org/, 2013 年 7 月 23 日最終アクセス
[12] 赤松正行. 左近田信康 2016:A Max Odyssey. Rittor Music, 2006.
[13] Kerovee, http://www.g200kg.com/jp/software/kerovee.html, 2014 年 1 月 15 日最終アク
セス
Group Report of 2013 SISP
- 54 -
Group Number 21-A