「音声脳神経分析技術の応用」 心を定量計測する技術 the University of Tokyo, 工学部＋医学部連携 株式会社AGI Ph D. Shunji Mitsuyoshi, 博士（工学）光吉俊二 11.10.2012 www.agi-web.co.jp ST/PSTとは ST = Sensibility Technology PST = Pathological state analysis of Sensibility Technology 感情が見える技術 = ST 音声から感情がわかる 複雑な感情も簡単に見える 発話と同時に色と量で感情を瞬間計測（９感情） 色（状態比率）と度合い（量）で感情を表示します ST Emotion SDK 心や脳を知る技術 = PST 状態を知る 生理を知る 病態を知る サポートする トリートメント （NEC 言花） 「心の体温計」ストレス・疲労などの定量計測 脳神経・伝達物質の様相を声から解析 うつ状態/統合失調/心臓や脳の疾患など 傷病者、障がい者を助ける 病態を改善させ、再発防止、未病対策 東京大学医学部にて「音声病態分析学」として講座設立 2 特許取得済み ST・PSTのこれまでの歩み 2001年「ezバーチャルトーク」KDDI 2003年「アンドロイドSAYA」東京理科大学 2005年「感性生命体んとと君」NTT研究所 2009年「感性コールセンタ」NTTソルコ 2010年「意識空間」三井住友建設 2011年防衛省・防衛医科大学校 「東日本大震災支援」 Stanford 感情が 見える 感情が測れる ＳＴ原理発表 脳と感情の 相関検証実施 ＜2001年 STエンジン発表＞ ＜2004年 STエンジンVer2発表＞ エイジーアイ時代 ▲ 2000 ▲ 2001 ▲ 2002 大手コールセン ターにて行動予測 実験実施 DSR 臨床心理士と うつ検知の検証実施 ＜2008年 STエンジンVer3発表＞ 日本SGIの子会社＜NEC孫会社＞時代 （AGI） ▲ 2003 ▲ 2004 ▲ 2005 ▲ 2006 ▲ 2007 ▲ 2008 AGI時代 ▲ 2009 ▲ 2010 ▲ 2011 ▲ 2012 ★東日本震災で 自衛隊ストレス 検知として採用 携帯電話 先進国正式採用世界初 ST 音声 Server ST コールセンタ 3 導入実績：会話サービスでの利用＜2000年～2004年＞ 学生 ST Learning Server ST Learning（ver.1.0） 英会話教材の改善 日本大学 バーチャルロボット「んとと」 NTTサイバーソリューション研究所 感情を捉える新インタフェースの模索 ST 受付システム「接遇」 （ver.1.0，2.0） 音声認識と感情認識によるエージェント 携帯電話 ST 音声Server 「EZバーチャルトーク」ＫＤＤＩ 「スタープライベートトーク」 （ver.1.0） 仮想キャラクター，著名人との会話コンテンツ・サービス 4 導入実績：コミュニケーション支援端末＜2005年＞ With NECデザイン the feeling communicator • 気持ちを光で表現する 「言花（KOTOHANA）ＮＥＣ」を 「CeBIT2006」に出展 ■会期・会場 ・2006年3月9日（木）～15日（水）７日間 ・ドイツ・ハノーバー国際見本市会場 ・出展社数：6,270社， ビジター数：48万人 （いずれも2005 年実績） 応用例： ビデオ会議システム＋言花 5 ターニングポイント① Q１ 感情研究を定量工学研究にするためには？ A1 感情の工業規格化が要求されます。 6 感情・心理規格化のアウトライン 1. 感情表現の調査更新 2. 感情項目の確定 （同義語・同意語の収束） 3. 感情項目の生理反応調査、マトリックス更新 （心的身体的作用と生体物質の関係 マトリックス） 4. 感情項目の関係メカニズム更新 5. 感情項目の規格化 ①感情辞書 → 感情って幾つあるの？ ②感情項目 生理とどう関係あるの？ 「感情って何グラム？」→ → どういう内容属性？ ③感情マトリックス どういう構造しているの？→ 感 情 の 工 業 規 格 化 へ ④感情メカニズム 7 Emotional RGBY どうやって？ わけたの？ 緑 「いったい、 感情っていくつあるの？」 辞書・心理学書などから 4500語の感情単語 をピックアップする ことから、始めた 生理指標との 比較から ４つの色 ２２３ジャンルの グループ 感情ラベリング にわけた を行い 黄色 赤 青 By 光吉 (1999~2006) 8 ①感情辞書 ②感情項目 223Emotional label 日本語にある４５００程度の感情に関する表現を、可能な限り英訳できる限界数に分類した。 ＜規格化とは広く人類が共有できること → 分類が少ない言語圏に合わせた＞ 心理学辞典・広辞苑・日本語大辞典・Oxford English Dictionary 臨床精神分析学辞典などから、ピックアップ 博士論文(光吉2006)より抜粋 9 ③感情マトリック 情動反応・身体反応と物質の関係調査 脳内物質 興奮 ストレス 不安 CRH 覚醒 ○ACTH○ ◎ 神経ペプチド 沈静 ○CRH ◎ ○× 嫌悪 闘争 ○ パゾプレシン ○恒常性 ◎ ○ ◎× CCK-4 前◎ CCK-8 全◎前× メラトニン オピオイドペプチド ○ ◎強 CRH× CRH◎ ドーパミン ◎ ◎ CRH◎ CRH◎ ソトマスタチン CRH× αーMSH CRH× GABA CRH× × ◎ ◎ ◎ ◎ J◎ ◎× 低◎ ◎ 体温 血圧 周期 ◎ 日周 ◎ 日周 免疫 NA× エンケファミン 忘却機能 日周季節 運動快感 活性 NK活性 ◎ ◎ ◎ 拡大 緊張記憶 ◎ 拡大 緊張 記憶 ◎ イソプレナリン ◎ ヨヒンビン ◎ フェンフラミン ◎ 乳酸ナトリウム ◎ ○ 感情や精神状態（横軸）、および身体反応（縦軸）に影響するという確認が学会 誌や論文などの治験にある、生体物質やホルモンなどを調べ、対批表マトリックスにした。 ○◎ 目的：脳の活動と伝達物質・ホルモンから導かれる情動の発生メカニズムの推定 ◎強 ◎強 ◎ × × ○ ◎ NA× CO２ ○ NA× NA× βカルボリン 快感 × NA× エタノール ×？ FMRFアミド × ◎？ テストロステン × ◎強 アンドロゲン × ◎ エストロゲン × × コチコイド 発汗 × NA× プロゲステロン 交感神経 ○ 低◎ ジアゼパム × 瞳孔 ○ NA× ◎ CRH◎ ガラニン オキトシン ◎ ◎ ◎ アンジオテシン 覚醒 心拍 ○ ◎ CRH◎△ CRH◎ カフェイン 期待 活性 幸福 CRH◎△ セロトニン ベンゾジアゼピン 陶酔 × ○ ◎強 NA× アセコルリン ◎ 安定 ◎ ○× 沈静 アドレナリン 快不快 ◎ ○ βエンドルフィン ノルアドレナリン うつ NA× コルチゾール ACTH 恐怖 ◎ 表１：心的身体的作用と生体物質の関係 ○は合成/分泌，○×は分泌して抑制，◎は促進，CRH ◎はCRH 合成・ 分泌促進，前◎は前頭葉皮質で促進，全◎は脳全体 で促進，前×は前頭葉皮質で抑制，低◎は低下したら促進，×は抑制， ○恒常は分泌により恒常性を維持，CRH ×は，CRH 合成・分泌抑制，◎×で制御，△は調整，NK はナチュラルキラー細胞， 活性は免疫機能の活性，機能は免疫機能，日周はバイオリズム， ?は報告情報，- は文献[9] に記載なし 母性行動 表を見てわかるように- が多く，心と感情と分泌物質の関係では不明な部分が多い．CCK 系統と5-HT, GABA, DA は複 雑にお互い影響しあって情動に作用するようである．また，性ホルモンは闘争と深く結びついているようである．これらの分泌 物や物質は脳神経活動に制御され，大脳辺縁系と情動と記憶は密接に連携している × ○ 10 ④感情メカニズム 感情モデルの推定 目的： 生理・臨床系の論文を調べ、感情反応 と脳の関係から情動や行動のメカニズ ムを再現する 作業： ③感情マトリック から脳の構造、伝達物質を 対比軸にして物質量の関係から構造化 を行う モデル化： 「作業」から同じ物質や脳機能から来る 効果を対角線上に配置して、円形のダ イアグラムに置き換えた （博士論文・日本機械学会編集「感覚・感情とロボット」より） 11 感情の色彩化＜単純化＞ 円的にまとまる感情を色で表現 → 言語依存なく感覚で把握できる → 国際基準 黄色い感情 緑の感情 「人の気持ちはいつも揺れ動いている」 これを「感情の恒常性の維持」 即ち、ホメオスタシスとした 倒錯や錯乱反応 医療介入分野 健常者は常に「緑」の位置を保とうとする しかし、「うつ病診断を受けた被験者」では 長期間「青」に偏りやがて、 赤い感情 感情の消失を伴う傾向があった （博士論文・日本機械学会編集「感覚・感情とロボット」より） 青い 感情 12 興奮（賦活）・不安情動（壊乱） 興奮（賦活＋） 感情のメカニズム先行研究 賦活・壊乱 １８感情 （快不快情動を含む中心 部の色彩グループ） 興奮と不安情動 のあり方 興奮（賦活0） この様相の状態から 不安情動（壊乱）が生まれる （博士論文・日本機械学会編集「感覚・感情とロボット」より） 13 感情の規格化 「空気を読む」 「せつない」 という表現を英語にできない場合 この感情地図を英訳することは、対応する単語の不足 （日本語の心境単語４５００語に対して英語２２３語程 度）からきわめて困難 ①快活 ④平静 みんなで世界中の技術者が自由 にemotionを扱えるようにしよう！ ③ 落ち 込み ②主張・不快 感情のMIL規格 STE 工業規格番号化 Regulation 1st circle 2nd circle 3rd circle ① STY <P> -L -L ② STR <N>-D -Ag ③ STB <N>-U -Ax STG <P> -S ④ 4th 5th circle 6th 7th 8th 「せつない」＝STB <N>-U –Ax- 2 （博士論文・日本機械学会編集「感覚・感情とロボット」より） 14 ターニングポイント② Q２ 感情の工業規格に準じて動くもの作れ A２ 感情を色で可視化、情動の強さを量で出力 する手段（構造体）を講じる 15 情動の起源（脳生理学） 川村光毅、小幡邦彦 「知」は大脳新皮質・海馬、「情」は扁桃体・視床下部、「意」は帯状回・辺縁系に大きく 関連する。 前頭前野を中心とする皮質連合野、視床下部・下垂体を主座とする液性調節系、ド パミン、セロトニンを含む汎性投射系など考察の視野を広げた上で精神活動 これらのアミンやGABAのレセプター、トランスポター、合成酵素の遺伝子ノックアウト マウスで情動行動の異常を主徴とするものが次々と得られている。 16 情動と神経メカニズム 国立精神・神経センター神経研究所微細構造研究部 湯浅 茂樹先生からの抜粋 食欲、性欲のような本能的行動とともに快・不快、喜怒哀楽のような情動として表出されるような心の 働きには、主に大脳辺縁系 (limbic system)と呼ばれる、大脳の中でも系統発生的に古い領域が関 与します。この辺縁系は解剖学的には側脳室周辺に位置して間脳を取り囲むように配置した海馬と 扁桃体が主要な構成要素で、これに帯状回、梨状葉のような大脳皮質が加わります。 扁桃体での情動に関わる情報の処理結果は、 まず自律神経機能とホルモン分泌の中枢であ る視床下部へ伝えられ、自律神経反応を引き 起こして心臓の拍動が早くなり胃腸の動きも変 化します。恐怖を引き起こすような刺激を受け たときは、同時に扁桃体から中脳へ情報が伝 達され、すくみ上がるといった行動が引き起こ されます。更に、扁桃体からは、大脳の帯状回 や海馬のような大脳辺縁系へ刺激が伝わり、 長期的な記憶にも大きな影響を及ぼします。こ のように、扁桃体には原初的な情動に関連し た記憶が蓄えられ、この記憶と関連した情動 刺激がやってくると記憶が引き出され、感情的 ならびに身体的な反応が強く引き起こされます 。この神経回路の概略が図1の左半分に示さ れています。 17 人体原理の工学発想 本音 情動部位 ＜複雑な自律神経フィードバック影響下でも、 声はフィードバックしない＞ 情動を抑えようとする部位の コントロール状態 建前 扁桃体 気持ち（感情） のフラグつけ 視床下部 中脳 フィルタリング （フォルマント） 話者 声帯ひだの張力 扁桃体⇔視床下部・中脳 の不随情動が出る 言語生成＝随意筋で 意図的に動く 不随意影響で 声が固まる、震える 緊張するなどの影響がでる 意図的に言語を生成 するから嘘がつける 建前 本音 特許取得済み 音声は フィードバック しないで 出力だけ 心のプリンタ 声帯 声道 口 音声 18 声帯障害と神経の関係 篠原内科外科耳鼻科 耳鼻科医長 砂山恵子 声帯というのは複数の筋肉(喉頭筋群)で動きますが動かすためにある沢山の筋肉の動きを『反回神 経という神経からまた枝分かれした小さな神経』が支配しています。そのひとつひとつの筋肉に『反回 神経』からの神経の枝が行き、動かすことで声を出したり呼吸をしたりします。 反回神経麻痺症状による声帯障害の原因 1 神経損傷・・・つまり交通事故、あるいは手術の後。 声帯に行く途中の迷走神経、またはさらに枝分 かれした反回神経の断裂などです。 2 神経圧迫・・・反回神経は経路が長く、心臓の近くまで降りて、また上がっていく神経です。ですから その心臓およびその近くの大動脈の拡大（心拍上昇など）でも圧迫を受けたりその他 悪性腫瘍や全身 麻酔で気管内挿管をした後などの圧迫によって神経が途中で圧迫を受けてる場合などがあります。 3 急性感染や 薬物（向精神薬なども） 神経の疾患（情動障害なども）など。ここまでは原因が想像でき ます。 4 その他原因不明のもの『突発性(特発性)反回神経麻痺（急激な神経変化なども）』といわれるもの。1 、2、3 なしに突然起こり、自然に治癒していくものもある。 すなわち、声帯は脳の情動活動の影響を受けた反回神経活動による 心拍の変化や神経状態の影響を受けるといえる＜防衛医大 徳野先生＞ 19 人体原理の工学発想 ＜複雑な自律神経フィードバック影響下でも、声は出力するだけでフィードバックしない＞ 感情（気分）の中枢（情動）はもちろん脳で短期的反応である。 しかし、強い情動が脳で発生すると自律神経の影響以外でも、ホルモン分泌で血圧が 上昇したり、心拍が早くなるという一般論があります。 身体反応のみで、感情を分析するとこの反応の計測になり、感情が長時間影響すると 結論付けてしまう。 また、ホルモンなどの影響が逆に脳にフィードバックすることもあり、認知影響を考慮す ると気分（感情）の生理計測は困難である。 話者 情動エリア 扁桃体 視床 下部 重要 音声だけは出力だけしてフィードバックしない だから、感情の神経や身体反応状態を正確に把握できる 双方向でループしてしまうから、 何が起きているのかわかりにくい 同じ不随意運動だが 副腎髄質ホルモンが血管を拡張し、交 感神経が興奮状態になる ホルモン しかし、実際は血液や生体物質の影響 特許取得済み 20 ST/PSTの構造と感情から病態まで 神経由来の情動パラメタとそれを抑制するパラメタの比較から 身体や神経、そして心的影響を分別、恒常性分析する手法 神経影響パラメタと心的影響パラメタの分離で病態まで 理性で情動を 抑制する 気分主観分析 ロジック比較 ①理性抑制＋心的影響の様相 主観を本人の感じ方 （前頭前野）からロジック 構造を導出する 情動 口腔・舌 声道 前頭前野の支配下 心的影響分析 複雑な病態を 可視化する 大脳辺縁系支配下 情動測定 声帯 振動音源 ②脳情動活動 や神経影響 身体や神経の影響を 受けやすい音響パラメタ を導出する 神経系分析 音声パラメタ 内蔵・身体⇔神経・脳 の様相 特許取得済み 21 堅牢な声帯の基本周波数検知 音声波形 従来のケプストラム による推定. バラつきが多く 自動化できない. ばらつきあり、自動化不可能 これで、不随意の情 動を自動的に解析で きるようになった ＳＴの推定手法 特許取得済み 非ケプストラムにより、 一般騒音下での基本周 波数推定を実現させた. ばらつき一切なし 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から 22 人の感情発話の評価2800名 人の主観の標準化 ＜学習データ（2800名の発話）、テストデータ（1100名の発話）＞ 自然感情発話データ： 自然な感情が出易い 映像を見せながら会話を収録した。 演技感情発話データ： シナリオにそって感 情をこめて発話させた。 評価ツール手法： 男女年齢を平均化した１０ ０名の評価者を使い、音声を無意識に評価 できる専用ツールでランダム に組み合わされた音声セットを聞き、発話者 の感情を判定させた。 100名以上の主観でラベルされた音声試料 50,000発話（2800名）×100主観 １名１時間で300発話評価の作業=11年間かかりました。 23 ST/PST の構造特徴 2800名の主観再現メカニズム 主観学習データ 解析パラメータ etc 学習データ（2800名の発話） １００名の主観評価つき 固定された200 以上のパラメー タで解析する 解析結果 主観分析 主観再現ロジック 実はとても大変、普通の研究 者は気が変になります！ 全員共通の主観分離 規則性を見つけ出す 人の主観を 判定ロジック ルールに置き換える 学習データ 本人評価 A 他者評価 A∩B 特許取得済み B 各種分析手法 （HMM / NN / SVM など） を試したが、 手作業とルールベース分析で実用レベルまでに到達した。 24 ST/PSTの構造と出力 情動と呼吸は密接な関係があるとされるため、発話単位（ブレスの間）で感情を分析する STの内部構造 話者 抑制された複雑な感情状態 もそのまま可視化するため 怒り度合い 喜び度合い 悲しみ度合い 情動 抑制影響（主観フラグ分析） 平静度合い 興奮度合い 快不快度合い 情動影響 苦痛度合い 不安度合い 呼吸単位で感情を分析 安心度合い 呼吸と感情の関係レセプタ解明され、また 深呼吸では、ネガティヴ感情は想起できない 情動に関係する 神経パラメタ （音響特性など） 脳神経由来の隠せない情動 を可視化するため 人の感じ方（主観）のパターン を再現（パラメタ閾値セット） 各感情判定ロジックがある 一番強い感情を第一候補に判定ロジックの多数決システムで選定し、その他の様相も 色や成分割合として表示する 特許取得済み 25 STの出力仕様 黄色い感情 緑の感情 情動エリア エリア 感情のバランス 扁桃体 青い 感情 視床下部 中脳 赤い感情 ＜建前＞ 抑制された結果 神経レベル 脳情動 の賦活状態 ＜本音＞ 話者 興奮要素のバランス （赤・青・緑・黄の属性バランス） もしかして？ 深層情動 脳の情動パワー＝興奮 特許取得済み 26 ターニングポイント③ Q３ 感情分析の精度を示せ A３ 人の主観と人体の反応（3TfMRI脳計測）、 市場投入での成果を示す 27 判定ロジックのオープン試験1100名 学習用と異なる 主観テストデータ 主観分析再現 パラメータ・ロジック・ルールセット 人の主観と同じ ように色で分離 できればロジックは 人の主観を 再現出来たと いえる。 etc 他者評価と本人主観で ラベルされた感情音声 オープン・テストデータ （１１００名） テストデータ 本人評価 A 他者評価 A∩B B 固定されたパラメータと判定ロジックで人の主観と 同じように分離できるか？試験する A： 発話者が発話直後に、自分の感情がどうであったか上記の評価ツー ルを使って確認した。 B： 他者による発話者の感情判定を上記の評価ツールを使って実施した。 A∩B ： AとBで同じ評価 （1/100程度） だった音声を学習用とテストデー タとした。 28 STの主観再現性能試験 （オープンテスト） ＜実施＞日本ＳＧＩ社 IEEE2007NLP-KEで発表 縦軸・横軸は各種パラメータセット Bならば、怒りと喜びを分離するセット構成 結果 人の感情判定の主観の再現はできたが、認識率までには至らない 光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から 29 ST判定ロジックの人主観の一致試験 人の主観で作られたＳＴで、本人の自然な発話感情も認識できるのか？ １と２で会話をする４０名 発話単位で、情動および感情を色でリアルタイムに表示する可視化ツール 市販化 etc 判定ロジックルール ST Ver2.0 ( 今回の実験に使用・感情の有無・情動の３段階判定 ) ST Emotion （ 各情動・感情１０段階判定 ） 30 STの主観一致率（直感テスト） 人の感情認識能力とSTの認識率の比較実験 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 評価限界 （主観限界） 日本人 本人でも 自分の 気持ちが 解らない 本人 ST 正解 70% 本人 ST 正解 86% 日本人 外国人 外国人 感情 怒り・喜び・悲しみ・平静 結果 *ＳＴ SDK Ver2.0時のテスト結果 情動 興奮 本人主張 (日本人・正解) vs 聞き手 (日本語を知らない外国 人・比較) 本人主張 (日本人・正解) vs 聞き手 (日本人・比較) 本人主張 (日本人・正解) vs ST (機械・比較） 本人評価 考察： 情動は自動システムであると 世界の科学者は考えている. ＝ＳＴも人も人種を超えて一 致率が高い（認知・文系研究 者の意見として、感情は文化 や風俗・環境などの認知影響 を受け一致しにくいので基準 が低い可能性がある）. 科学的には人の主観の一致率が低すぎることが判明 = 感情認識100％を標榜するのは嘘とわかる → ライバル技術壊滅(日本撤退) 光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表から 31 ST/PST脳生理システムでの脳情動計測 装置 パラメータ・ロジック構造なので、 生理とSTの関係が一対一で 確認できる！ 揺らがない 固定基準 何度やっても 同じ結果を保証 純粋な科学実験を 可能にさせる. 脳との比較 身体との比較 パラメータ 利点：揺らぎ、不確実な対象を固定 した基準を利用してどの程度 揺らいでいるかを知る. 問題：fMRIでは騒音が大きすぎて、 音声分析できない. この解決がポイント 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から 32 ST/PST 脳との比較 ｆＭＲＩの８０デシベルノイズキャンセル技術 ノーマルｆＭＲＩ ジェット戦闘機 近接騒音程度 １億分の1ノイズ削減 の成功 ノイズキャンセル後のｆＭＲＩ ひそひそ声程 度 この技術で１３０デシベルのfMRI騒音下での ＳＴと脳比較実験を実現させた. 光吉俊二 博士論文「感情認識及び情動の脳生理信号分析システムに関する研究」から これで、音声取得 が出来るように なった 33 実験手順とデータ解析 •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 実験手順： fMRI（３Ｔ）ガントリー内の被験者（マスクマイク着、頭部固定）とfMRI室外の実 験者に自然会話。 時間１５０秒ｘ連続２セッション。 被験者SM（実験者YT)、YT（実験者SM)の２名（友人同士の自然会話現在６ 名）。 情動解析： ST２．０TMによる「興奮」、「平静」、「笑い」 成分抽出 脳信号解析： • SPM統計解析 • ST興奮判定時刻におけるイベント関連解析 イベント時刻（情動興奮）オンセットに対応したBOLD反応が，それ以外のすべての活動と差がある かどうか，という（イベント）－（非イベント）の形式でｔ検定を実施． 34 被験者同士、会話して共感している証拠 •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 BOLD の動き • Motor cortex ＜口の動き ＞ • Blocca area ＜会話発言＞ • Welnicke area ＜言語認識＞ • Right Blocca area ＜共感, mirror neuron＞ R 会話により感情が 誘発されている L R L L R By NICT + AGI (2005-2008) 35 STがネガティヴと判別した時だけ 発話者の脳がどうなっていた？を調べる •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 ＳＴがネガティヴ情動ありと認識した 認識してない ▲（ネガティヴ情動あり）の部分と空白（情動なし）の部分を比較して、 ▲（ネガティヴ情動あり）の時だけの脳活動を調べるために 全脳活動の比較で▲と空白の脳活動の ｔ 検定をした。 ボジティヴの感情は研究されていないので、使えない。 •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 36 STは発話者のネガティヴ（怒り＋興奮） な脳の 情動活動をその時だけ、しっかり検出した！ 活動領域: 独立行政法人情報通信研究機構（NICT）での実験により、統計的有意水準0.1％で脳の情動活動を検出する研究 (t-test, p<0.001, 危険率0.1％で非修正) 3Tのシーメンス社製 fMRIを使用 R 1．Left and right frontal BA44,45 ＜L: 会話発言, R: 共感 ＞ 2．Left dorsofrontal BA12 ＜ホルモン制御, 抑圧情動＞ 3．Left amygdalate complex ＜ネガティヴ情動＞ 4．L/R inferotemporal ＜画像イメージング, 身体イメージ ＞ なぜ、画像イメージが動いた? 被験者は相手の顔を思い出していた と供述していた. L L R R L R L L R By NICT + AGI (2005-2008) •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 37 情動要素の検出 画像領域 恐怖と動画 By NICT + AGI (2005-2008) •ＮＩＣＴバイオＩＣＴグループ田中研究員提供 38 ２０００～２００９ 生理科学 脳比較 統計学 主観比較 人の主観 DB etc STにより脳の情動反応の検出に成功 ただし、被験者数がまだ少ない また、MRIに疑問が残る 行動科学 事実比較 ７０～８０％でSTと 人の主観との一致を確認 人の能力を超えている可能性がある しかし、音声パラメータ効果の詳細不明 そこで、行動予測実験をした 最大手クレジット会社にある、＜支払い・滞納・自殺・入会＞の有無 の事実確認ができる音声データとの比較により、行動予測をした 事故率50％（返済事故）のコールセンタにおいて、無作為に選択された音声２０００ファイルのST分析か ら、音声内容を聞かないで、顧客の属性と顧客の行動を予測するアルゴリズムを構築して、事実確認比較 により、その正当を確認した。現在、８割の予測正当率である。（一週間後の確認では9割） 39 色彩グルーピングの音声分析出力形式 STにおける主な出力情報 関数名 int CSTEmotion: :isEmotion (STEmotion_Enum emot); STEmotion_Enum: CSTEmotion::getEmotion 関数概要 引数 引数の意味 戻り値 戻り値の意味 指定した感情がどの 程度の確度で含まれ ていたかを取得 STE_CALM (1) 平常 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_ANGER (2) 怒り 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_JOY (3) 喜び 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_SORROW (4) 哀しみ 0から10の範囲の整数値 0(含まれていない)～10（確実） STE_UNKNOWN (0) 多数決判定が同点 STE_CALM (1) 平常 STE_ANGER (2) 怒り STE_JOY (3) 喜び STE_SORROW (4) 哀しみ 0から10の範囲の整数値 分析した音声に含まれる最も確 度の高い第一候補感情の確度 （最大10）を返す。 分析に失敗した場合には0を返す。 0から10の範囲の整数値 1（興奮していない）～10（非常に 興奮して いる）の整数値で返す。分析に失 敗した場合には0を返す。 推定した第一候補感 情の感情 種類を取得 無し (void); Int CSTEmotion:: getEmotionLevel(void); 推定した第一候補感 情の確度を 取得 Int CSTEmotion: 推定した興奮(脳の 情動全体の賦活)度 合いを取得 getExcitmentLevel(void); 無し 無し 興奮 （脳野騎乗 道活動の賦 活状態） 40 ターニングポイント④ Q４ 本当に感情がわかるなら、ストレスや 気分障害の病態もわかるはず、やってみろ A４ 主観と生体計測、血液検査と医師との比較 からスタートしてみる＜現状＞ 41 ストレスが無いものストレス？ いったい何を計測するの？ この緊張状態全体を ストレスと呼ぶ？ もともと、身体の非特異 的反応としていた。 個人 有害性 環境要求 直面 一次 評価 脅威性 対処努力 情動 喚起 情動が抑 制可能か どうかの 二次評価 で規格化 情動の種類決定 これを低減させ ようとする行動 動機が生まれる これを対象にした！ 情動の強度決定 情動的ストレス反応 42 ストレスの解釈 • 語源は工学用語であるストレス（金属ストレスなど）を人間的要 素に還元している • そこで、工学者でもストレスを把握しやすい定義が必要になる ストレッサ＝圧力（時間・力） どれくらい・どの程度・どのような力が加わっているのか？ ストレス＝応力・耐久性・物性 （疲労度・個人差を緊張として把握する） この人（物性）は、どのくらい耐久性（緊張限界）があり、現在どの程度の 緊張による疲労が溜まっているのか？ 健常者の反応は＜闘うか＞＜逃避する＞ 東京大学工学部 非健常者の反応は＜異常判断に偏向し固まる＞ 最初は、このような考えの下、生物学・生理指標と音声の関係性を 規格化することで、簡易なウェアラブル計測を実現させる ①東大井出君の研究 ②東大山本君の研究 ③東大継続研究 ウェアラブル雰囲気 コミュニケーション 共同研究へ応用 43 我々のストレスの概念地図 特異点・特異パラメータ の導出 情動地図・パラメータ連動 不快 （不安） ここまで行くと もうストレスで はない？？ ストレスの原因 快 （安心） 精神障害 （不安、うつ） ストレス 心 身 疲労 心 神経障害 （心異常値） 結果 身体 （正常値） 身 情動抑制を評 価する状態 ここまで行くと もうストレスで はない？？ 機能障害 （体異常値） 結果 身体障害 （生活習慣病） ここを対象とする 44 ストレス計測に必要な緊張の尺度 • 生理指標 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ 心電心拍 呼吸・呼気 血圧変化 皮膚電位差 全身の緊迫度（筋肉の緊張計測など） 声帯の緊張度計測（ストロボスコピー・喉へ電極など） 脳計測＜防衛医科大学と科研費研究でNIRS使うが現在まで何も見えず＞ 血液検査＜サイトカイン有効性高い＞ 唾液＜有効性確認できず＞ 神経レセプタリアルタイム計測＜現状では不可能＞ • 音声 ① ② ③ 声帯の緊張（声帯ひだの硬度変化など）の音響特徴 音質の変化 音声の不快情報の集積（頻度の増加など） 東京大学医学部＋工学部CREST研究 防衛医科大学校＋東京大学医学部科研費研究 「音声ストレス検知」 45 ストレスは脳だけではない！ 腸は「第二の脳」といわれるように、腸と脳には密接な関係があります。腸と脳は神経によってつながっ ていて、脳が不安やストレス（必ずしも自覚できるとは限りません）を感じると、その信号が腸に伝わって 腸の運動に影響を与えることがわかっています。 ｢IBS（過敏性腸症候群）｣の患者さんは、この信号が伝わりやすくなっているため、腸が過剰に反応し てしまうのです。また最近では、このしくみにセロトニンという神経伝達物質が深くかかわっていることや 、セロトニンをコントロールすることで、ストレスがあっても症状を抑えられることがわかってきたのです。 セロトニンというと、うつ症状と関連して イメージする人が多いかもしれません。 しかし実は、体内のセロトニンのうち、脳 などの中枢神経に存在しているのはわ ずか1～2％程度。残りの約90％は、腸 内に存在しているのです。 脳がストレスなどの刺激を受けると、腸 の粘膜からセロトニンが分泌されます。 それがさらに腸内にある｢セロトニン受 容体｣と結合します。すると、腸のぜん 動運動が異常をきたし、下痢や腹部症 状を引き起こすのです。 最近では、この「セロトニン」に着目した 新しい治療薬がついに国内でも登場し 、大きな期待が寄せられています。 出典：ＩＢＳネットより 46 ストレス・抑うつ状態の分析 音声データ（長期データ）から、その人の心の健康度を、 STを用いて解析・数値化し、結果を「ストレス・抑うつ」 として出力する。 ST出力結果を用いて、うつ病患者／健常者を分類する 基準（特徴量）を明らかにする。 黄色い感情 緑の感情 平熱 平熱 青い 感情 赤い感情 感情のホメオスタシス分析 メランコリー 状態わかる？ ストレス状態 47 ストレス研究の成果 防衛省・防衛医科大学校共同研究 被験者群 自衛隊・富士学校生徒 自衛隊・レンジャー部隊 ST/PST基本原理 防衛医科大学校 正式採用の根拠 イスラエルの技術 に勝ち採用された 防衛省正式採用 世界で初めて、音声心理分析 システムが先進国の防衛組織 に正式採用され、原理が科学証 明された 採用にあたり、国内・国外のす べての研究や商品と比較され、 ST/PSTのみ唯一有意であると 確認された。 通常群 長期肉体的ストレス群 自衛隊・海外派遣隊員 長期精神的ストレス群 自衛隊・東日本震災派遣隊員 長期過酷ストレス群 STによる 分別に成功 48 ストレス研究の結果報告 防衛省・防衛医科大学校共同研究 東日本大震災での活用 東日本震災における、被災地赴任の自衛官のストレス計測 世界防衛科学研究会議（DSR）にて発表 結果：PSTと以下のストレス指標との比較で 血液検査（ヘルペス菌痕跡＋サイトカイン） との一致 医師の診断結果との整合性 その後の病態度合との一致 国際軍医学会で受賞 世界防衛科学研究会議（DSR） 国際軍医学会（受賞） メディカルトレビューン（掲載） 日本トラウマティック・ストレス学会（査読通過） 現在、 ネイチャー誌への投稿を準備 ST/PSTの最終勝利 受賞者で共同研究者の徳野准教授（MD&PhD）はカロリンスカ医科学研究所の出身 49 STのビジネスチャンス ユーザの本音をリアルタイムに 行動履歴（検索,場所,時間） 日本全国どこでも 類似検索 心理占い系コンテンツ 友人の行動履歴など S 確実に把握している N 心（本音）を 知りたい 反応・対応型 市場分析系コンテンツ 福祉健康系コンテンツ 人工感性知能 心の機能を 使いたい 分析・治療型 行動予測を 使いたい S N 感性分析型 広告代理店系コンテンツ 誘導型 声から心が見える 1 Ｔｈａｎｋ ｙｏｕ！ 51
© Copyright 2024 Paperzz
