日本知能情報ファジィ学会
合同シンポジウム 2016
第 25 回北信越支部シンポジウム
&
第 21 回人間共生システム研究会
講演論文集
期日：2016 年（平成 28 年）11 月 27 日（日）9:00∼16:00
会場：富山県民会館
〒930-0006 富山市新総曲輪 4 番 18 号
主催：日本知能情報ファジィ学会
北信越支部，人間共生システム研究部会
9：00 開会のあいさつ
北信越支部・支部長
井上 博行先生（福井大学）
第 1 セッション
司会：高木昇（富山県立大学）
9：05（20 分）
1. ロボットインタラクションのための階層型シチュエーションマップ
○横井聡，増田寛之，小柳健一，本吉達郎，大島徹，澤井圭（富山県立大学）
9:25（20 分）
2. 金沢らしさを考慮した遊べる参加型メディアアートの制作
○越野
亮（石川高専）
9:45（20 分）
3. ファジィの将来を考える
○中島
ー『ファジィ論理のほとんど全て』自解ー
信之（富山大学）
10:05（15 分）
4. 視覚障がい者支援について―視覚情報へのアクセシビリティ―
○高木昇（富山県立大学）
休憩（10:20-10:35）
第 2 セッション
司会：越野
亮（石川高専）
10:35（10 分）
5. Twitter におけるユーザの興味変化抽出
○中村 修三，山田 耕一, 畦原 宗之 , 鈴木 泉（長岡技術科学大学）
10:45（15 分）
6. 楽曲の感性イメージを考慮した楽曲情報の可視化のための絵地図生成手法の検討
○大園恭平, 畦原宗之, 山田耕一, 鈴木泉（長岡技術科学大学）
11:00（15 分）
7. 基本図形の付加による対話型デザイン装飾支援システムの開発
○浴廣義紀、畦原宗之、山田耕一、鈴木泉（長岡技術科学大学）
11:15（15 分）
8. A General Framework for Games of Decentralized Inventory Management
○Hanh Nguyen Phuong Hong, Koichi Yamada, Muneyuki Unehara,
Izumi Suzuki（Nagaoka University of Technology）
11:30（15 分）
9. Twitter Users Clustering using User s Category of Interest
○Suppassara Kijsupapaisan, Koichi Yamada, Muneyuki Unehara,
Izumi Suzuki（Nagaoka University of Technology）
11:45（20 分）
10. 色のファジィシステムにおけるあいまいさと可能性について
○菅野直敏（玉川大学）
休憩(12:05-13:15)
第 3 セッション
司会：増田寛之（富山県立大学）
13:15（10 分）
11. 携帯型ゲーム機を用いた大学生の英語学習効果に関する研究
○伴
浩美（長岡技術科学大学），木村 春彦（金沢大学），
大薮 多可志 （国際ビジネス学院）
13:25（10 分）
12. 消費者物価指数データの言語による要約
○熊木 孝真, 山田 耕一, 畦原 宗之, 鈴木 泉（長岡技術科学大学）
13:35（15 分）
13. Finding Hidden location patterns of two competitive supermarkets
in Thailand through location motif
○Jinattaporn Khumsri, Akihiro Fujihara, Daisuke Nogiwa,
Kazutomi Sugihara（Fukui university of technology）
13:50（15 分）
14. Weighted Distance in Directed Networks for Measuring Social Influence
○Thanchanok Laopromsukon, Akihiro Fujihara, Daisuke Nogiwa,
Kazutomi Sugihara（Fukui University of Technology）
14:05（10 分）
15. フォイルカイトの自動飛行学習制御器のためのシステム構築
○小島
令子，近藤
智行， 高橋
泰岳（福井大学）
休憩(14:15-14:30)
第 4 セッション
司会：畦原 宗之（長岡技術科学大学）
14:30（10 分）
16. ニューラルネットワークを用いたロボットにおける文字描画視覚運動の学習モデル
○増田慎平，高橋泰岳（福井大学）
14:40（10 分）
17. 装着者の足とパワーアシストスーツ間に働く力とヤコビアンを用いた運動推定に
基づくアシスト制御
○村井翔太，佐橋克弥，野村慎之介，高橋泰岳，川井昌之（福井大学）
14:50（10 分）
18. 人型ロボットの全身を使った情動的動作がヒトの協調・利己的行動決定に及ぼす
影響の検証
○粥川
優騎，高橋
泰岳，辻本
拓也（福井大学），寺田 和憲（岐阜大学）
15:00（15 分）
19. Human Gesture Recognition Using 3D Depth Sensor for Automatic
Mobile Robot
○Wanfeng Fu, Yasutake Takahashi（福井大学）
15:15（15 分）
20. Physical Action Recognition based on Motion Sensor on Body
○Xuan Wang, Katsuya Sahashi, Shinnosuke Nomura, Yasutake Takahashi
（福井大学）
15:30（15 分）
21. 視線および筋電を用いた全方向車椅子ロボットの指示認識システム
○前田陽一郎（ものつくり大学）
15:45 休憩
15:55 奨励賞・表彰式，閉会式
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ロボットインタラクションのための階層型シチュエーションマップ
Multi-Layer Situation Map for Robot Interaction
⃝ 1 横井 聡， 1 増田 寛之， 1 小柳 健一
1
本吉 達郎， 1 大島 徹， 1 澤井 圭
1
富山県立大学
1
Toyama Prefectural University
Abstract: This paper discusses the Multi-Layer Situation Map to estimate the relationship between the
objects and the storage places for robot interaction. An interaction robot is required the many rules to
take suitable action. But, It is difficult to provide rules based on all situations. Now, we focus on a cleanup
service by a robot, and are developing an interaction robot which estimates the storage place where a robot
should carry objects. In this system, an interaction robot has to know the relationship of the objects and
the storage places in dynamically changing situation. Therefore, we propose the Multi-Layer Situation
Map, and express the relationship between the object and the storage place. The multi-layer situation
map can move each component using a spring model. To verify the effectivity of the multi-layer situation
map, we have performed the simulation experiment. We discuss about the dynamically situation change
when the same objects of cup A and B are exist on the table.
はじめに
そこで本研究では，動的に変化する状況に対応しロボッ
近年，家庭環境や介護施設といった我々に身近な環境 トの動作を決定するための推定システムとして，階層型
にインタラクションロボットが導入されつつある．将来， バネモデルを用い，物体と片付け先の関連性を推定する
このようなロボットが人間と同環境下でサービスを提供 手法を提案する．本システムは「階層型シチュエーショ
するためには，様々な事象に対する推定・判断・行動を自 ンマップ」と名付けられており，画面上の各階層に配置
律的に行う必要がある [1, 2]．そこでこれまでも，ロボッ された物体や場所のコンポーネントが環境に変化が生じ
トの自律行動の実現に向けた研究の一環として，環境側 たタイミングで移動し，それらの距離によって関連性を
のセンサ情報を用いたロボットシステムの開発が盛んに 表現するものである．本稿では，階層型シチュエーショ
おこなわれてきた [3, 4, 5, 6]．これらの研究では，環境 ンマップの概要，および環境に変化が生じたと仮定した
サーバは，部屋の中に存在する物体，人間，およびロボッ シミュレーションの結果について述べる．階層型シチュ
トに関する情報の計測・管理を行う．したがって，ロボッ エーションマップは，環境内の全ての物体と片付け先と
トはサービス提供のために，環境データベースに蓄積さ の関連性を表現するものである．また，階層型シチュエー
れた情報を利用した適切な状況判断，および行動決定を ションマップでは、バネ定数や自然長、引張力などといっ
た単純な力学的パラメータを採用しているため，学習に
しなければならない．
よってそれらのパラメータを変化させることで比較的容
本研究では，ロボットによる片付けサービスに着目し，
易に様々な状況への対応ができると期待している．
インタラクションロボットが物体の片付け先を推定する
システムを開発している．まず，様々な環境センサから 2 片付け先推定システム
物体に関する情報を計測・管理し，インタラクションロ
2.1 システムの想定環境
ボットが人間と会話するシステムを構築した．片付け先
本研究では，一般家庭の食後のダイニングルームを想
が 1 つに決定された場合，インタラクションロボットは
定環境とする．システムを構築する環境には人間が複数
その片付けサービスについて発話することができる．し
人存在し，また，ある程度の大きさのテーブルがあるこ
かし実際の環境では，インタラクションロボットは曖昧
ととする．片付けは食後に行うため，テーブル上には食
な状況下で適切なコミュニケーションを行わなければな
べ残した料理，それらが入っている容器，および食後ま
らない.
で使用されなかった物体などが配置されているものとす
ルールでは記述しきれない曖昧な物事を表現する手法 る．以下は想定する環境における片付け先推定システム
としてファジィ推論がある [7, 8]．ファジィ推論は，概念 の仕様である．
的であったり曖昧であったりする物事を具体的な値に決定
する際に用いられる．しかし，表現したい状況が増えるほ
• テーブル上の物体をロボットが自動で片付け
どメンバシップ関数や後見部も複雑化してしまう．また，
• 物体に関する情報を計測可能
機械学習によるクラスタリングによる手法として，サポー
トベクターマシン（SVM），自己組織化マップ（SOM）
• 人間は物体の片付け先を変更させることが可能
などが挙げられる [4, 9, 10]．SVM は，機械学習によって
パターンや関連性の明確な境目を学習する．SOM は関連
• 物体の位置が変化する毎に物体情報のデータベース
性が高いデータほど近くなるようにクラスタリングを行
を更新
う手段である．両者は関連性が高いデータ同士でクラス
• インタラクションロボットが様々な状況を考慮して
タを作るが，各クラスタ間の距離関係は初期値に依存す
片付け先を発話
るため，クラスタ同士の関連性はわからない．
1
1
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
図 1 に本システムの全体像を示す．各物体には RFID タ
グが貼り付けられている．テーブル上には RFID リーダ
を搭載したフォースプレートが設置されており，ユーザ
は，物体をプレート上に配置することにより物体の現在
の重量，および RFID タグから参照される情報を同時に
取得することが可能である．ここでタグから参照される
情報とは，物体の固有 ID，種類，所有者，使用状態（未
使用，もしくは使用済み），および物体本体の重量であ
る．また，部屋の天井付近にはカメラが設置されている．
カメラはテーブル上に配置された物体を撮影し，画像処
理によってそれらの位置や種類を取得する．インタラク
ションロボットは推定された片づけ先を発話によって出
力する．
表 1: Basic rules of clean table
Object
State
Unused
Rice Bowl
Used
Unused
Plate
Used
Unused
Cup
Used
Unused
Plastic Bottle
Used
2.2
Owner
Weight
Dwell Time
Storage Position
No.
Owner A
Owner B
Owner C
Sharing
-
Light
Less Than 60 min.
Over 60 min. and more
Less Than 60 min.
Over 60 min. and more
Shelf A
Shelf B
Shelf C
Shelf D
Sink
Refrigerator
Sink
Refridgerator
Sink
01
02
03
04
05
06
07
08
09
Less Than 60 min.
Over 60 min. and more
Less Than 60 min.
Over 60 min. and more
Shelf A
Shelf B
Shelf C
Shelf D
Sink
Refrigerator
Sink
Refrigerator
Sink
10
11
12
13
14
15
16
17
18
Less Than 60 min.
Over 60 min. and more
Shelf A
Shelf B
Shelf C
Shelf D
Sink
Sink
Refrigerator
Sink
19
20
21
22
23
24
25
26
Less Than 60 min.
Over 60 min. and more
Less Than 60 min.
Over 60 min. and more
Shelf A
Shelf B
Shelf C
Refrigerator
Trash Can
Refrigerator
Sink
Refrigerator
Sink
27
28
29
30
31
32
33
34
35
Owner A
Owner B
Owner C
Sharing
Owner A
Owner B
Owner C
Sharing
Owner A
Owner B
Owner C
Sharing
-
Middle
Heavy
Light
Middle
Heavy
Light
Middle
Heavy
Light
Middle
Heavy
片付けの基本ルールの作成
異なる場面に対する片付けのルールを作成した．表 1
に作成したルール表を示す．本システムでは，物体の状
態変化に応じて片付け先を変更するために本ルールを用
いる．本ルールは，後述の階層型シチュエーションマップ
のコンポーネント移動における基本ルールとなる．なお，
本ルールの作成にあたり，片づけ先を推定するために必
要な計測データは全て得られたと仮定し，かつ 1 つの状
況下で推定される片づけ先が重複しないよう注意した．
本研究では，システムのソフトウェア構築のために産
業技術総合研究所開発の OpenRTM-aist（以下 RTM）を
用いた [11]．RTM は，ロボット機能要素のソフトウエア
モジュールを複数組み合わせてロボットシステムを構築
することができる．このソフトウェアモジュールは RT コ
ンポーネント (以下 RTC) と呼ばれる．画像処理 RTC は，
物体の種類と位置座標のデータを環境サーバに送信する．
重量計測 RTC は物体の重量と重心位置のデータを送信
する．RFID タグ読み取り RTC はタグの固有 ID を送信
する．環境サーバ RTC は，各 RTC から受信したデータ
を物体ごとに統合，管理する．推定 RTC は，環境サーバ
RTC から統合されたセンサ情報を受け取り，ある物体の
片付け先を推定する．
画像処理 RTC では，認識する物体となる茶碗やコップ
等の食器は上から見ると円形であるものが多いことから，
画像処理ライブラリ OpenCV を用いた楕円認識によって
物体の位置認識を行う [12]．また，本 RTC では，認識す
る楕円の大きさの違いから物体の種類も判別する．画像
本システムにおける片付け先を判断するための要素は， 中の楕円の認識精度を高めるためにカメラを天井に設置
種類，使用状態，所有者，重量，および静止時間の 5 項目 する．
である．まず，本ルールは片づけ対象の物体の種類を判別
重量計測 RTC は，物体の重量，および重心位置を出力
する．種類の決定後，本ルールは対象の物体が食事中に使
する RTC である．既存のフォースプレート製品は，多く
用されたかどうかを判別する．その物体が未使用の場合，
がキログラム単位での計測を目的としているため，食器
本ルールはその物体を片づけ可能とみなし，所有者ごとの
の重量やその内容物の重量を計測することに適していな
棚を片づけ先に指定する．その物体が使用済みの場合，所
い．したがって本研究では，テーブルに配置された物体
有者に関わらずその物体の重量の判別に移る．
「Plate」を
の重量をグラム単位で取得することが可能なフォースプ
例に挙げると，本ルールがある物体の重量を「Light」と
レートを製作した．製作したフォースプレートには，1.2
判断した場合は，物体の片付け先を「Sink」と判断する．
グラム単位での計測が可能なロードセルが 4 基搭載され
その物体の重量を「Middle」，もしくは「Heavy」と判断
ている．
した場合，本ルールは静止時間の長さによって片づけ先
環境サーバ RTC は，各 RTC から送信されるデータを
を変更する．静止時間が 60 分未満であれば，残り物を再
統合・管理する RTC である．本 RTC では，1 秒毎に読
び飲食する可能性を考慮して片づけ先を「Refrigerator」
み込まれるセンシングデータを統合し，データベースへ
とし，60 分以上であれば，片づけ先を「Sink」とする．
登録する．サーバの構築には，オープンソースのデータ
2.3 システム概要
ベース管理システム MySQL を使用した [13]．本 RTC で
本システムは，環境内に設置されたカメラ，フォース は，取得したデータのうち重複するものを確認し，それ
プレート，および RFID リーダによって構成されている． らを同じ物体のデータとして統合して保存する．ここで
2
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
図 2: Outline of multi-layer situation map
図 1: Integrated robot system
重複するデータとは，画像処理 RTC の「位置」と重量計
測 RTC の「重心位置」，画像処理 RTC「種類」と RFID
タグ読み取り RTC の「種類」である．例えば，画像処理
RTC で取得した物体の「種類」と，RFID タグ読み取り
RTC によって参照した「種類」が同じであれば，本 RTC
は各 RTC から取得した同物体の他データとともにそれ
をデータベースへ登録する．また本 RTC は，重量計測
RTC で取得した「重量」と，RFID タグ読み取り RTC
から参照された「本体重量」の差から内容物の有無を調
べる．その後，本 RTC は物体ごとに決められた重量区分
データ（軽，中，重）を同物体の他データとともに登録
する．データベース登録の際には，時刻も同時に登録さ
れる．したがって，ある物体の位置に変化が現れた場合，
本 RTC は，既に登録されている同物体の位置の時間変化
を参照することで位置に変化が見られなかった時間を静
止時間として登録する．以上のように，環境サーバ RTC
は，取得したデータを単に登録するのみでなく，センサ
統合した上で管理する．
図 3: Multi-layer spring model
推定 RTC では，環境サーバ RTC から送信された統合
データを用い，物体と場所との関連性の変化から片付け
先を推定する．本稿では，ルールのみでは記述しきれな
い状況を階層型シチュエーションマップによって表現す
るシステムを提案する．
といった分類ごとの階層マップを用いることにより，各
階層に配置されたコンポーネントの関連性を表現する手
法を提案する．
階層型シチュエーションマップでは，物体や場所のコ
ンポーネント同士がバネで結ばれている．また，シチュ
エーションマップは，環境に変化が生じたとき，それを
トリガーとして，階層型バネモデルに従ってコンポーネ
ント同士を近づけたり遠ざけたりすることができる．ま
ず，コンポーネントは，Object Layer，Place Layer の各
階層へ分類・配置される．各階層のコンポーネントは，隣
接する階層の全てのコンポーネントと接続される．図 2
にコンポーネントの配置イメージを示す．ある物体の属
性が変化した時，その Object コンポーネントに接続され
た Place コンポーネントとの位置関係が変化する．本シ
ステムは，重量や位置などといった物体の属性が変化し
たタイミングでコンポーネント間に外力を発生させ，各
コンポーネントの平面投影距離により関連性を表現する．
3.1 階層型シチュエーションマップの概要
情報可視化インタフェースのひとつにキーワードマッ
プによる関連性表現がある [14]．キーワードマップとは，
２次元平面上配置されたキーワード同士を関連性の強さ
に応じて近づけたり遠ざけたりすることにより，ユーザ
意図を強調するインタフェースである．しかしこれは，全
てのキーワードを同一平面上に配置しているため，本研
究のシステムで同様に関連性を表現するには 1 平面のみ
では困難であると考えた．そこで本稿では，物体，場所
3.2 バネモデルのアルゴリズム
まず，コンポーネントは面に平行な方向の移動のみに
拘束するよう設定される．引張力は，コンポーネント同士
が引き合う方向のみに加えられ，各階層ごとにコンポー
ネント群が移動する．つまり，一方の階層のコンポーネ
ントが移動するときは，他方の階層のコンポーネントは
全て固定されているとみなす．
図 3 に今回使用したバネモデルを示す．ある Object
コンポーネント Oi (i = 1, 2, · · · , n)，および Place コン
3
階層型バネモデルを用いた関連性推定法
3
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ポーネント Pj (j = 1, 2, · · · , m) の位置座標をそれぞれ
(xOi ,yOi )，(xPj ,yPj ) とする．また，コンポーネント間の
直線距離を di,j ，階層間の高さを h とすると，
√
di,j = (xPi − xOj )2 + (yPi − yOj )2 + h2
(1)
となる．さらに，バネ定数を ki,j ，バネの自然長を li,j と
すると，Oi と Pj の間に発生する力 Fi,j は，
Fi,j = −ki,j × (di,j − li,j ) + Ui,j
(2)
と表される．また，Ui,j は，物体の属性が変化した際に
入力される外力であり, 次の式で与えられる．Ui,j は時
間 t の関数であり，α は任意の減衰率，S は任意の定数で
ある．
Ui,j (t + 1) = αUi,j (t) + S
(3)
Pj が受ける平面に平行な方向の総力 FPj は，
FPj =
n
∑
(Fi,j sin θi,j )
(4)
i=1
となる．これを xP ，yP の各軸方向の力 FPj x ，FPj y へそ
れぞれ分割すると ，
FPj
[
] [
]
FPj x
FPj cos ϕi,j
=
=
FPj y
FPj sin ϕi,j
(5)
となる．ここで，質量を MPj とすると運動方程式は，
MPj s̈ = FPj
(6)
1
FP t2 + C
2MPj j
(7)
であり，変位 s は，
s=
となる．したがって，t + 1 秒後における Pj の位置は，
[
] [ 1
]
2
xPj (t + 1)
2MPj FxPj ∆t + xPj (t)
Pj =
=
1
2
yPj (t + 1)
2MP FyPj ∆t + xPj (t)
(8)
j
と表される．
以上のように位置が決定され，その後 Pj を固定して Oi
も同様に位置座標を更新することで階層型バネモデルに
おけるコンポーネントの移動を実現する．また，本バネ
モデルでは，外力 Ui,j を少しずつ減衰させることで，コ
ンポーネント間の距離がある程度近づいた後，時間経過
によって逆に離れようとする動きを表現することができ
ると考える．
4
図 4: Scenarios of simulation
4
物体の属性変化を想定したシミュレーション
階層型シチュエーションマップの動作を検証するため
のシミュレータを作成した．シミュレータでは，テーブ
ルに Cup A および Cup B といった同種の物体が配置
された時の状況変化を想定したシミュレーションを行っ
た．図 4 に状況変化の流れを示す．図 4 の括弧内の数値
は，表 1 における各物体の属性変化別の番号に対応して
いる．初期化後，Cup A および B の使用状態は「Used」，
Plastic Bottle の使用状態は「Used」として設定される．
まず，開始 0 秒で各物体はテーブルに配置されているこ
ととする．その後，Cup A および B へ Plastic Bottle か
らそれぞれ開始 10 秒，20 秒のタイミングで水が注がれ
る．その際，各 Cup の使用状態は「Used」となる．また，
Plastic Bottle は，Cup B に水注ぎ終わった 20 秒の時点
で空となる．Cup A 内の水は開始 30 秒で半分まで飲ま
れ，開始 50 秒で空になる．階層型シチュエーションマッ
プにおいて，Cup A および B，Plastic Bottle の 3 つのコ
ンポーネントが Object Layer に存在することとする．ま
た，Place Layer には，Table，Shelf，Sink，Trash Can，
および Refrigerator の 5 つのコンポーネントが存在する
こととする．その他実験条件およびシミュレータのパラ
メータ設定を以下に列挙する．
• サンプリングタイム 0.1 秒で 60 秒間のシミュレー
ションを行う
• 各階層の幅，奥行きはいずれも 500 とし，2 層間の
高さは 100 とする
• バネの自然長は 50 から 400 の間で経験則に基づいて
表 2 のように設定する
• バネ定数は正規乱数（中心：4.0，偏差：1.0）によっ
て決定される
• 各コンポーネントの初期位置は一様乱数によって決
定される
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
表 2: Natural length
PP
PP Place
Table
P
Object PPP
P
Cup
100
Rice Bowl
170
Plastic Bottle
240
Plate
50
Shelf
Sink
Trash Can
Refrigerator
300
150
200
100
50
50
160
50
350
300
140
400
400
200
100
200
• Object Layer の全てのコンポーネントを固定した状
態で，Place Layer の各コンポーネントに加わる力
が釣り合う位置を初期状態とする
• 物体の状態が表 1 と一致した場合, 対応する片付け先
と物体のコンポーネント間に引張力が加えられる
図 5: Position of components
• 引張力の大きさは 1000 とする
4.1 シミュレーション結果
図 5 に 10 秒ごとの全コンポーネントの位置変化を示
す．図 5 では，Object Layer および Place Layer のは同
一のマップに平面投影されている．円形のマーカは物体
のコンポーネントを，四角形のマーカは片付け先のコン
ポーネントを示す．まず，開始から 10 秒の間に Cup A，
Cup B，および Table の距離が近いた．開始 20 秒では
Cup A 内の水が満杯になったことにより，Cup A および
Refrigerator の距離が近いた．また，Trash Can は Cup
A が空になる 50 秒までに徐々に近づいている．以上の結
果から，マップ上での物体および片付け先の関連性が示
されたことがわかる．
図 6 に片付け先との位置の時間変化を各物体別に示す．
図 6(a) では，開始 28 秒あたりから Cup A と Sink の最短
距離が保たれている．それに対し図 6(b) では，35 秒付近
から Cup B と Table が最短距離を保っている．これらの
ことから，Cup という同じ種類の物体であっても，状況
が異なれば場所コンポーネントとの距離変化にも違いが
あることがわかる．したがって、様々な状況に応じて片付
け先を判断することが可能になると推定できる．例えば、
開始 60 秒で片付けを開始する際，Cup A は最も関連性
が高い Sink に直接片付ければ良い．図 6(c) より，Plastic
Bottle は，Table，Trash Can，および Refrigerator との
関連性が比較的高い．この場合、3 つの片付け先候補を人
に問い合わせることができる．Cup B と最も関連性が高
い場所は Table である．しかし，Sink や Refrigerator も
十分関連性が高いと言える．このような場合は，インタ
ラクションロボットが「このまま置いておく？」と人に
問いかけ，
「Yes」と答えたらテーブルへ，
「片付けて」と
答えたら Table 以外の片付け先候補を提示することがで
きる．
5
まとめ
近年のインタラクションロボットは環境管理サーバと
連携して様々な情報を取得している．従来型のインタラ
5
(a) Cup A
(b) Cup B
(c) Plastic bottle
図 6: Distance between object and place
クションロボットは，ルールに基づいた行動決定を行っ
てきた．しかし，このようなシステムの場合，様々な状
況に応じたルールを人間によって与えられなければなら
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ない．インタラクションロボットは，曖昧な状況下で片
付けに関する会話をする必要があるが，ルールに基づい
た状況判断においては，あらゆる状況に対するルールを
与えることは困難である．したがってロボットは，動的
に変化する状況の中で物体および片付け先の関連性を知
る必要がある．
本研究では，部屋の中に様々なセンサを設置し，イン
タラクションロボットが人間と会話する統合システムを
開発してきた．本システムの環境サーバは，全てのセン
サ情報を統合・管理する．また，本稿では, 階層型シチュ
エーションマップを提案し，物体と片付け先との関連性
を表現した．階層型シチュエーションマップでは，各コ
ンポーネントがバネモデルに従って移動し，環境に変化
があったタイミングで対応する物体および片付け先のコ
ンポーネント間に引張力が働く．本稿では，階層型シチュ
エーションマップの動作検証を行うためにシミュレーショ
ンを行った．シミュレーションでは，同種の物体が複数
テーブルに配置された場合の動的な状況変化を想定して
検証した．シミュレーションの結果，階層型シチュエー
ションマップは，同種の物体であっても異なる関連性の
変化を示し，関連性の時間変化も考慮することが可能で
あることがわかった．以上より，インタラクションロボッ
トによる状況に応じた様々な行動決定が可能となること
が期待される．
今後は，階層型シチュエーションマップを実際の環境
に導入し，インタラクションロボットに片付けに関する
発話をさせる．
参考文献
[1] H. Masuta, Y. Matsuo, N. Kubota and H. Lim,
“Robot-Human Interaction to Encourage Voluntary
Action”, Proc. of 2014 IEEE International Conference on Fuzzy Systems, pp. 1006-1012, 2014.
[2] N. Banda, A. Engelbrecht and P. Robinson, “Feature Reduction for Dimensional Emotion Recognition in Human-Robot Interaction”, Proc. of 2015
IEEE Symposium Series on Computational Intelligence, pp. 803-810, 2015.
[3] H. Gross, Ch. Schroeter, S. Mueller, M. Volkhardt,
E. Einhorn, A. Bley, Ch. Martin, T. Langner, and
M. Merten, “I ’ll keep an eye on you: Home robot
companion for elderly people with cognitive impairment”, Proc. of 2011 IEEE International Conference
on Systems, Man, and Cybernetics, pp. 2481-2488,
2011.
[4] H. Masuta, Y. Tamura, and H. Lim, “Self-Organized
Map Based Learning System for Estimating the Specific Task by Simple Instructions”, Journal of Ad-
6
vanced Computational Intelligence and Intelligent
Informatics, Vol. 17, No. 3, pp. 450-458, 2013.
[5] T. Hasegawa, R. Kurazume, and Y. Kimuro, “A
structured environment with sensor networks for intelligent robots”, Proc. of IEEE Sensors 2008, pp.
705-708, 2008.
[6] N. Kubota, D. Tang, T. Obo, and S. Wkisaka, “Localization of human based on fuzzy spiking neural
network in informationally structured space”, Proc.
of 2010 IEEE International Conference Fuzzy Systems, pp. 1-6, 2010.
[7] L. A. Zadeh, “Fuzzy logic and approximate reasining”, Synthese, Vol. 30, Issue 3, pp. 407-428, 1975.
[8] T. Fukuda and N. Kubota, “An Intelligent Robotic
System Based on A Fuzzy Approach”, Proceedings
of The IEEE, Vol. 87, Issue. 9, pp.1448-1470, 1999.
[9] A. Ben-Hur, D. Horn, H. T. Siegelmann and V. Vapnik, “Support Vector Clustering”, Jornal of Machine
Learning Research 2, pp. 125-137, 2001.
[10] T. Kohonen, “Self-Organized Formation of Topologically Correct Feature Maps”, Biological Cybernetics, Vol. 43, Issue 1, pp. 59-69, 1982.
[11] N. Ando, T. Suehiro, K. Kitagaki, T. Kotoku, and
W. Yoon, “RT-middleware: distributed component
middleware for RT (robot technology)”, Proc. of
2005 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3933-3938, 2005.
[12] Y. Otsuka, J. Hu, and T. Inoue, “Tabletop dish recommendation system for social dining: Group FDT
design based on the investigations of dish recommendation”, International Journal of Information Processing, Vol. 21, No. 1, pp. 100-108, 2013.
[13] H. E. Williams and D. Lane, “Web Database Applications with PHP and MySQL”, O’Reilly Media,
2004.
[14] T. Kajinami, T. Makihara, and Y. Takama, “Interactive Visualization System for Decision Making
Support in Online Shopping”, New Frontiers in Applied Data Mining. LNCS, Vol. 5433, pp. 193-202,
2009.
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
金沢らしさを考慮した遊べる参加型メディアアートの制作
Production of Playable Participatory Media Art in considering of Kanazawa likeness.
越野 亮
Makoto Koshino
石川工業高等専門学校
National Institute of Technology, Ishikawa College
Abstract:
Kanazawa city is promoting night tours after the newly opened bullet train line which directory
connects Kanazawa city and Tokyo in only two and a half hours. This enabled people from Tokyo to make a day trip.
In order to encourage their stay during a night at Kanazawa, the project called Kanazawa Night Museum has been
held by the city officials. Our laboratory has been committing to the project through exhibiting our interactive
digital installations at the 21st Century Museum of Contemporary Art, Kanazawa for three years. Participants can
enhance their communication and their such posts on SNS would encourage the local tourism. In this paper, we’d
like to introduce our third year project in this year.
１. はじめに
２. 実施までの経緯
2014 年度から金沢の夜の文化観光を提供する「金
金沢市が運営している金沢ナイトミュージアムの
沢ナイトミュージアム」「夜のにぎわい創出事業」
Facebook のイベントページでは，興味ありが約
として，金沢市から石川高専にプロジェクションマ
1,800 人となっており，非常に多くの方が興味を持
ッピングの依頼があり，参加型・体験型の遊んで楽
っていた．また，今年で 3 年目ということで多くの
しめるインタラクティブな作品を学生が制作し，金
方がこのイベントを知ってもらえており，石川高専
沢市を代表する施設である金沢 21 世紀美術館（以下，
側では特にポスターなどは作らず広報活動は行わな
21 美と呼ぶ）と金沢能楽美術館の屋外で実施してき
かったが，金沢市のほうから地元の北國新聞にイベ
た[1,2]．
ントの紹介をしていただいた．
３年目の本年度は，2016 年 9 月 15 日（金）〜16
本番までの経緯としては，５年生は大学の編入試
日（土）夜 19 時から 21 時に，これまで 2 年間と同
験の準備や就職活動の負担のかからない形で，卒研
様に学生が 1 人 1 つ制作した作品を金沢 21 世紀美術
時間などで関連作品の調査を行い，Unity や After
館と金沢能楽美術館の屋外壁面に投影した．本年度
Effects, Kinect などの制作技術の習得を行った．
の制作に携わった学生は専攻科 2 年生 1 名，専攻科
7 月 26〜27 日の石川高専で開催された中学生の
1 年生 2 名，本科 5 年生 3 名の合計 6 名であり，作
ための体験入学で作品のプロトタイプを見せて，そ
品数は 6 つである．特に本年度の卒研生はダンス同
の後，夏休みにブラッシュアップし，8 月 31 日（水）
好会に所属している学生が 2 名いたため，ダンスパ
に初めての投影練習をいくつかの作品において実施
フォーマンスと映像のコラボも導入することができ，
し，投影練習でわかった様々な問題や課題を改善し，
ダンス同好会のメンバー10 名がダンスに参加した．
9 月 14 日（水）に最後の投影練習，9 月 16 日（金）
もともとプロジェクションマッピングをテーマで
と 17 日（土）に本番という日程になった．本番の
あったが，投影する建物の形状に合わせるところが
日程としては専攻科の長期インターンシップが 9 月
ないということや，学生の全作品を合わせて説明で
23 日（金）から始まるため，その前に実施する必要
きる用語として，プロジェクションマッピングとい
があったためである．ただし，この本番後 9 月 20
う用語が合わなかったため，本論文ではより広い意
日（火）から前期末試験が始まるため学生にとって
味で用いられるメディアアートという用語を論文の
はかなり大変な日程となった．
タイトルにした．
7
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
３. 制作物
って白黒 2 値化を行い，このときの黒の部分を影と
3.1
する．影の領域検出のための画像処理には画像処理
てまりと影
昨年度に制作した作品「てまりうむ」では，Leap
用のライブラリである OpenCV を用いた．
Motion を使って手をかざすと手の影が現れ，上から
影の取得後，影や投影面の境界線と CG の手鞠と
落ちてくる手鞠で遊べる作品である．普段は美術品
の衝突判定を行う．CG の手鞠の位置を衝突の状況
として飾られていてなかなか触れる機会のない手鞠
に応じて変化させることで影と手鞠のインタラクシ
を多くの人に楽しんでもらうというコンセプトで制
ョンを実現した．
作した．昨年度は，プロジェクタで投影されている
昨年度の作品制作で用いた手鞠の CG はマスコッ
映像に参加者が影絵で遊びだし，それを参加者が見
トキャラクタ用の素材の一部であったため，ややデ
て楽しむという雰囲気になった（図 1）．プロジェク
フォルメされていた．本作品では色とりどりのデザ
タから映される参加者の影では手鞠に触ることがで
インの手鞠を作成した（図 2）．
きないため，今年は参加者の影で遊べるような作品
を制作することになった．
図2
図1
昨年度の「てまりうむ」
今年度の作品「てまりと影」
本作品に関連する作品として，魔法の美術館で展
示された藤本直明氏による「Immersive Shadow」
参加者が作品内に入って影を使って遊びだした様子
がある．これは，Kinect センサにより距離を取得し
昨年 Leap Motion を用いたときは同時に遊べる
た体の形を影として投影し，カラフルなボールと遊
参加者は１人であり，参加者の待ち時間が長すぎて
ぶことができるものである．本作品は直接プロジェ
不満を言う人がいたが，影絵で遊べる最大の人数の
クタから投影される壁にできた人の実物の影を画像
制限がなくなるため，同時に多くの参加者が楽しめ
認識して取得した．これにより，よりリアルなアナ
ると考えた．
ログ的な曲線美を追求した．
体験者は映像を投影する壁面手前の定められたエ
また，実物の影をインタラクションに用いたもの
リアに立つことで，自身の影による手鞠とのインタ
としてインタラクティブシャドゥがある[3]．この研
ラクションを楽しむことができる．人物の影の検出
究では実物の影で CG に触れることで，CG が変化
に用いる画像は一眼レフカメラから取得する．この
するものである．この作品のように影を用いて影と
影の取り込みにはデジタル一眼レフカメラのスルー
インタラクションしており，この作品も参考にして
出力を用い，キャプチャーボードで取り込むことに
いる．他にも sonodial [4]では 2 台の Kinect を用い
より影の画像を取得した．取得された画像はレンズ
て，人工の影を生成し，体験者の影と，床に投影さ
固有の歪みやカメラ・壁面間の仰俯角の存在により
れている固定のパーティクルが接触することで新た
歪んでいるため，コンピュータで射影変換すること
な音を生み出す仕組みになっている．この作品は 3.3
によって長方形になるよう修正した．グレースケー
節の KOTONOBA の作品を制作する際にも参考に
ル画像に変換後，画像の輝度および所定の閾値によ
した．
8
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
3.2
金箔とてまりと影遊びと
3.3
KOTONOBA
昨年度，能楽美術館の壁面に加賀友禅の画像を投
参加者に反応して足元に波紋が広がり，それに合
影し，加賀友禅の中の鳥や雲などが動く演出を制作
わせて琴の音が流れる作品である．作品名の由来は，
した．通路を通ると，影が壁面に投影され，参加者
楽器の琴のある場という意味とコミュニケーション
が段々と影で遊ぶようになった．また，参加者の服
としての言の葉があるという二重の意味で，
に加賀友禅の映像が映るのも楽しみの 1 つになって
KOTONOBA（ことのば）である．
いた．
レーザーレンジファインダで足の動きを検知し，
本年度は，より金沢らしくするために，金沢を代
プロジェクト工房の屋上から地面にプロジェクタで
表する金箔を背景画像にして，さらに小さな金箔が
波紋の映像を投影した（図 4）．多くの子供から楽し
多数降り注ぐ映像にした．去年の作品では影で遊ぶ
かったという感想を LED ブラックボードに書いて
人が多かったため，今回も影で自由に遊べるように
いただいた．
草やひまわりなどのシルエット画像を表示し，さら
当初，地面にある PC から屋上のプロジェクタま
に LeapMotion センサを用いて加賀手毬に触れて遊
で AppleTV を用いて無線 LAN で通信していたが，
べるようにした．さらに，能楽美術館の窓枠に手毬
映像投影にタイムラグが発生し，動作が重くなって
が当たったときに音が鳴るようにして，聴覚的にも
しまった．そこで，2 日目は 15m の HDMI ケーブ
楽しめるようにした．音は窓枠が 6 つであったため，
ルを使って有線にしたところタイムラグなくスムー
和風の音を表現できるドレミソラドのペンタトニッ
ズに動作した．
クススケールを採用した。
イベント当日は、LeapMotion で手毬に触れたり，
影を用いてシルエットアートを作ったり，影と検知
した手を合わせたりなど，観客がそれぞれ独自の遊
び方を考えていた．概ね好評だったといえるが，セ
ンサが小さいため操作が難しいという問題があった．
また，プロジェクタが非常に古い 2007 年製（約 9
年前）の 2600 ルーメンの明るさのものであり，当日
は満月で月明かりが非常に明るく，他の作品と比べ
て暗いものになってしまった．
図4
図3
KOTONOBA の様子
今年度の作品「金箔とてまりと影遊びと」
図5
9
参加者に書いていただいた感想
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
3.4
Mapping x Dance
3.5
加賀五彩ペンライトアート
ダンスをするパフォーマの体の形状に合わせて，
これまでの作品は学生たちが作ったデジタル作品
映 像 を マ ッ ピ ン グ す る 演 出 を Kinect Projector
で遊んでもらうものであったが，参加者がデジタル
Toolkit の Processing 版を用いて制作した．本番 2
アートを制作するものを入れたいと考えた．特に，
日前の投影練習時にキャリブレーションを済ませて，
デジタル的ではなく，アナログ的な表現にしたいと
当日は練習時と同じ場所にプロジェクタと Kinect
思い，LED ペンライトアートを入れることにした．
を設置した．事前準備の際にキャリブレーションを
今年度は小学生向けの出前授業やオープンカレッ
行ったため，当日の準備はスムーズに進めることが
ジなどで，ペンライトアートを体験する講座を何度
できた．1 日目は石川高専のダンス同好会の方に実
か実施し，非常に高い評価を得ており，十分な実績
際に壁の前で踊ってもらった．曲に合わせて映像が
と経験を積んでいた．
切り替わるように作成した．2 日目は実際に踊るこ
今回，金沢らしさを出すために，加賀五彩の色に
とが予定上難しかったため，気軽に自分の体に映像
近い色のフィルムを LED ライトに取り付けて準備
が映るのを体験してもらった(図 6)．1 日目で見にく
した．カメラは一眼レフカメラを用いてシャッター
い映像は 2 日目に改良し見やすいものに変えた．
速度を 5 秒間にして撮影した．秒数は試行錯誤して
また，約 100 個の LED と，9 軸モーションセン
決めた．
サを搭載したスマートフットウェア Orphe も用い
Instagram にハッシュタグ「#遊ぶ 21 美 #金沢ナ
てダンスパフォーマンスを行った (図 7)．これは，5
イトミュージアム #ペンライトアート #金沢 21 世
月 21 日（土）に，21 世紀美術館で Orphe を制作し
紀美術館」を入れてアップして，参加者に見てもら
たメンバーたちのトークがあり，トーク後に我々の
えるようにしたが，特に「いいね！」もコメントも
イベントを紹介して Orphe を使いたいと伝えたと
つかなかったため，せっかく参加者に作っていただ
ころ，本イベント期間中に 21 美で展示中というこ
いた映像を提供できなかったように思われる．参加
ともあり，喜んでいただいた．ただ，Orphe の 21
者に Instagram を見てもらえるような工夫ができ
世紀美術館での発売が 9 月 13 日（火）という本番 3
ればよかった（図 8）．
日前になったが，無事女性用と男性用の 2 つ購入し
て使うことができた．
図6
図7
体験してもらっている様子
図8
身体マッピングと Orphe
10
加賀五彩ペンライトアート（Instagram）
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
3.6
金箔 Cube
多かったようである．また，同日，向かいにあるし
Youtube で公開されていた 311 4D Video
いのき迎賓館では肉フェス，金沢城・兼六園は無料
Mapping Dance (https://youtu.be/DdpoQWrAgi4)
開放，近くの犀川大橋では LED イルミネーション
を参考に，30 秒の音楽に合わせた箱が動く映像を作
（サイガワあかりテラス），周辺施設において金沢
成した（図 9）．また，その後，Kinect で体の動き
JAZZ STREET，金沢ナイトミュージアムとして，
に合わせて箱を操作し，金箔の粒子が表示されるイ
21 世紀美術館・松涛庵で「香りの宿る夜」，中村記
ンタラクティブな作品を制作した（図 10）．
念美術館 旧中村邸では「飛び出す!?AR お伽噺」な
どが実施されており，大盛況であった．1 日目では
予想以上の来場者が来られたため，運営上いろいろ
な問題が発生した．そこで，様々な改善を行い，2
日目に臨んだ．
たとえば，
「てまりと影」の作品では，プロジェク
タに近すぎるところに立ってしまうと，すべて影で
覆われてしまうので動作しなくなってしまう．そこ
で，プロジェクタの近くを歩けないように場所を変
更した．参加者に立ってもらう範囲に LED テープ
を貼ってわかりやすくした．それに伴い，プロジェ
クト工房壁面の端で行っていた LED ペンライトア
ートに長蛇の列ができてしまっていたため，もっと
図9
壁面に映像投影
広い場所のほうがよいと判断したため，中央で行っ
ていた「てまりと影」の場所と交替することにした．
これで，ペンライトアートの作品が目立ち，お互い
相乗効果がある形として実施できた．「Mapping x
Dance」では，実際に洋服に投影してみると，見に
くい映像がいくつかあったため，見やすい映像に変
更した．
2 日目（土曜日）は大雨で降水確率 100%の状態
で，少し開始時刻を早めたが，19 時に大雨が来て，
その後も雨が止まない予報になっていたため，途中
で中止になった．来場者数は 300 人であり，2 日間
合わせて 2000 人であった．
金沢市からはアイデア力と 2 日目の修正対応力を
図 10
金箔 Cube
高く評価していただいた．
４. 当日の様子
５．おわりに
金沢市の発表によると，来場者数は 1 日目（金曜
本論文では金沢市との連携事業「夜のにぎわい創
日）が 1700 人であり，大盛況であった．ちょうど
出事業」「金沢ナイトミュージアム」の一環として，
金沢 21 世紀美術館内では，この日からアートアク
金沢市を代表する施設である金沢 21 世紀美術館と
アリウムという全国的に有名な展示が開始され，非
金沢能楽美術館でインタラクティブなデジタルイン
常に多くの方が来場され，その後に見てくれた方が
スタレーションを実施した事例を紹介した．
11
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
６. 謝辞
連絡先
金沢市役所企画調整課には大変お世話になりまし
越野 亮
E-mail: [email protected]
た．また，作品を制作した越野研究室の学生たち，
当日サポートしてくださった学生たちに深く感謝し
ます．
株式会社ミュージッククラブ様から1万ルーメン
のプロジェクタ1台を貸していただきました．
＜制作者（敬称略，年齢・あいうえお順）＞
専攻科2年生・城野真樹「加賀五彩ペンライトアート」
専攻科１年生・大伏仙泰「てまりと影」
専攻科１年生・福田健二「KOTONOBA」
本科5年生・小泉真菜香「MappingxDance」
本科5年生・辰巳祐大「金箔Cube」
本科5年生・吉田龍史「金箔とてまりと影遊びと」
参考文献
[1]越野亮,"金沢 21 世紀美術館＆金沢能楽美術館
におけるインタラクティブプロジェクションマ
ッ ピ ン グ の 制 作 ", 日 本 知 能 情 報 フ ァ ジ ィ 学
会・合同シンポジム第 23 回北信越支部シンポ
ジウム＆第 17 回人間共生システム研究会，福井
大学(2014).
[2] 越野亮,"インタラクティブデジタルインスタ
レーション「遊ぼう！夜の美術館＠21 美」の制
作",日本知能情報ファジィ学会・合同シンポジ
ウム第 24 回北信越支部シンポジウム＆第 19 回
人間共生システム研究会(2015).
[3]水野慎士,岩崎妃呂子,近藤桃子,伊藤玲,杉
浦沙弥,大葉有香,"実物影のシミュレーション
に基づく仮想影とのインタラクション",情報
処 理 学 会 研 究 報 告 , Vol.2016-DCC-12, No.30
(2016).
[4]小林良穂,西八條浩平,村岡和樹,"sonodial:
人工の影を用いたインタラクティブサウンドイ
ンスタレーション",日本バーチャルリアリテ
ィ 学 会 論 文 誌 , vol.18, no.3, pp.267-276
(2013).
12
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ファジィの将来を考える
| 『ファジィ論理のほとんど全て』自解 |
中島 信之
（富山大学名誉教授）
1
はじめに
3.1
モノの寿命は 30 年
昨夏，私は『ファジィ論理のほとんど全て』（三恵
もう数年前になるが，畑村洋太郎氏の『失敗学3 の
社）という書を上梓した1 ．けれども，見事なほどさっ
（何とか）』という文庫本を古本屋で見つけ，面白そう
ぱり売れなかった2 ．しばらく前からファジィの退潮
だから購入して読んだ．その中に，モノの寿命は 30
ぶりは感じていたので，あまり売れないだろうと覚悟
年だという記述があった．ここでモノとは，実際の物
していたが，予想以上だった．
でもあるし，会社などの組織，あるいは理論・技術も
含むらしい4 ．
本稿で私が書こうとしているのは，グチではない．
モノを生みだしたとき，その開発にたずさわったひ
気障にいえばファジィへの思いである．
とたちも，30 年たつとほぼ定年を迎えて，その場を
去ってゆく．かれらは，そのモノを自家薬籠中のもの
2
ファジィ・略私史
とし，マニュアル化されていない雑多な知識をもって
いた．しかし，2 代目，3 代目となると，持ち合わせ
私がファジィを初めて知ったのは 1970 年ごろで，竹
るのはマニュアル化された知識だけとなる．マニュア
田英二さんからであった．だからもう 46 年にもなる．
ルにない事態が発生したとき，はたして 2 代目，3 代
この歳月は | 私のしてきたことを「研究」といって
目は対処できるか？ | ということらしい．
よいならば | まことに楽しい研究生活であった．
例えば……
こんな私でも，ファジィ・バブルのころは，単著，共
上述の新座市での東電の火災がそうだし，畑村氏の
著，共同執筆を含めて 4 冊の書を出した．でもほとん
『「失敗学」事件簿』[3]（小学館文庫，2007）に記載の，
どが啓蒙書であった．
三菱重工長崎造船所にみる [30 年の失敗周期」
（p.116）
本格的な書としては，
『t-ノルムの全て』（2001 年），
や「橋の構造が変わる 30 年ごとに巨大橋の崩落事故
『あいまいさの系譜』
（2006 年）とこの度の『ファジィ
（p.121）などがそうである．
論理のほとんど全て』
（2015 年）の `3 部作' である．
『t-
次の例もそれにあたるか．1970 年代の末から 80 年
ノルムの全て』は飛ぶように（！）売れた．
『あいまい
さの系譜』もまずまず売れた．そして『ファジィ論理
代にかけて，AI（人工知能）の分野で，新しい型の非
のほとんど全て』はさっぱり売れておりません．
標準論理 | 非単調論理，自己認識論理，義務論理な
ど | がもてはやされたことがあった．AI 誌の 13 巻
そしてその結果，上でふれたように，ファジィの凋
（1980 年）は，そうした論理の特集号の観があるほど
落ぶりを肌で感じるようになった次第である．
だった．
それがどうなったか？ | 実のところ，どうもなら
3
失敗学とファジィ
なかったみたいだ．80 年代にはあれほどあった論文が
90 年代にはいるころには，まばらになり，挙げ句の果
最近新座市での東電の火災があった．35 年前（！）
てに AI 誌自体が姿を消してしまった（富山大の図書
に，地下に敷設されたケーブルが発火したのが原因と
館からだが）．
のことだが，このニュースを聞いたとき，私は「あっ，
非単調論理とは，たとえば非連続試論：
「鳥ならば飛
失敗学だ」と思った．
3 向殿氏に安全学に関する書があるが…．
1 といっても実質は自費出版なんだけどね．
4 畑村氏が失敗学を提唱したのが 2000 年，失敗学会の設立が
2002 年なので，そろそろ 15 年，失敗学の生き残りが試されるの
もそう遠くない．
2「自費出版」だから，当然私費である．売れたら，売れ上げで
各種の研究会に行こうという目論みは，見事はずれた．
13
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ぶ」＋「Twitty は鳥である」→「Twitty は飛ぶ」を
ファジィ推論法，ファジィ制御の発見であった．ファ
あつかう．大かたの場合は正しいが，Twitty がペン
ジィ推論法はザデー自身によって，ファジィ制御はマ
ギンのときは正しくない．なかなか魅力的な発想だっ
ムダニによって，それぞれ 70 年代に開発された．こ
たが，着想倒れで，
「何もの」も生みださなかった．80
れを大々的に応用に移したのが日本の（企業の，
（〈当
年代の，関係論文も設定を微に入り細を穿っていった
時の〉若い）研究者たちで，ファジィ洗濯機をはじめ，
だけで，これから何が生みだせるかの議論には至らな
仙台地下鉄の自動運転など，めざましい成果を生みだ
かった．
した．
結局，これらの論理は 30 年を待たずに野垂れ死に
90 年をはさんだ時期で，65 年の誕生から 25 年（30
年マイナス 5 年）のことだった5 ．
した | とわたしは思う．今後も何か（奇抜な？）展
ファジィ論理に関して辛口の論理学者ハーク6 も著
開がなければ，このまま終わってしまうだろう．
書 [1] の序で，ファジィ制御を機能している，と評価
3.2
している．ただし，女史は，その成功と（あるべき）
ファジィは 50 年だが…
ファジィ論理をのそれとまぜこぜにしてはいけない，
ともいう（忠告する）．
さて，ファジィに戻る．ザデー先生の『ファジィ集
合』が発表されて去年が 50 年．ファジィシステムシ
| いずれにせよ，ファジィ制御の成功によって，1
ンポ（FSS）も，今年は第 32 回だそうで，つまり第 1
回目の生まれ変わりを果たし，ファジィはポシャらず
回が開催されて 32 年がたつということだ | いつポ
にすんだ．
シャっても不思議じゃない．
2 回目の壁の突破口は？
思い起こせば，第 1 回の FSS（名称はちがっていた
「ファジィ（技術）」も，その最盛期（？）の 1990
と思うが）のときは，並行セッションというものがそ
年からすでに 26 年．そろそろ新しい `何か' を生みだ
もそもなく，やむを得ず（？）全参加者は 1 つのセッ
さなければ，2 回目の生き残りはない（と思う）． |
ションの講演を聞いた（聞くよりなかった）．
わたし個人としては，ポシャればポシャったで，それ
最近の若い研究者たちは | えーと，ケナしてるの
もしかたないとも思うのだが，もちろんポシャらない
ではありません | FSS に参加しても，自分の関係す
ほうがうれしい．
るセッションに出るだけで，いろんなセッションに出
では，その新しい `何か' とは何か？ | それがわか
てみようとしない．時代が変わったので，出てもおそ
れば苦労しない．
らく何かわかるまい．それだけファジィの守備範囲が
少なくとも，①若い力が，②ファジィの基礎から学
広がり，深くなったとからにちがいない．
び直して，やっていくよりない．それも，ひとの尻を
| 閑話休題．
追っかけてはダメ，である．
ではファジィはなぜ倒れなかったのか？30 年を越え
て 50 年まで生きのびたのか？
3.3
数学も論理学も
年寄りのあてにならない助言
歴史をひもといてみると，少なからぬ学問が数百年，
年寄りの助言はというものは，あまりあてにならな
千年を越えて生きのびている．例えば，数学（幾何学）
いものだが，聞いていただいて損はいくまい．有望そ
や論理学がそうで，ギリシア時代からあったからすで
うなタネがまったくないわけではない．私が考えるタ
に 2000 年を越える．でも数学も論理学も滅びなかっ
ネは，1 つはファジィ評価であり，もう 1 つはファジィ
た．どうしたか | 現在の数学も論理学もギリシア時
論理である．
代のそれとまったく異なってしまっていることからも
①ファジィ評価
わかるように．これらの学は日々生まれ変わることに
ファジィ制御が工学的応用だっただけでなく，ザデー
よって生き長らえてきた．長生きするには不断のまれ
大先生が工学のお方だったから，ファジィ即工学とい
変わりが欠かせない，いうことであるろう．
う印象があるが，ファジィがあいまいさを数値で表し
て処理する `道具' という点では，非工学的応用がもっ
ファジィ推論法，ファジィ制御
とあってよい．
ファジィの歴史が 50 年を越えるということは，過
去のある時点で生まれ変わり，生きのびてきたという
5 たしか流行語大賞に「ファジィ」が選ばれたのが 1990 年だっ
た．
6 Susan Haack，
『ファジィ論理のほとんど全て』では綴りから
「ハアック」と読んだが，
「ハーク」のほうが正しいらしい．
ことにちがいない．
ファジィの最初の危機を乗り越えさせたのは何か．
14
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ファジィ評価はその 1 だと思う．ソフトサイエンス
たが，論理代数をまず作ってそれを表す論理をさがす
研究部会や評価問題研究部会など．どちらかというと
ようになった．
文系の研究部会で，ファジィ評価の研究が，着々とい
ブール代数から生みだされたド・モルガン代数，ク
うか，静々というか | とにかくなされている．
リーネ代数に対応する論理は何か？．
物事の評価には，
ファジィはマイナーな論理ではない
(1) 箇々の項目について評価をする，
ファジィはわれわれが卑下しているようにはマイ
(2) 箇々の（項目の）評価から総合評価を求める，
ナーでない．実際，ド・モルガン代数とクリーネ代数
なる 2 つの `評価' が考えられる．ファジィ評価が役立
の研究者であるモイシル8 がファジィ論理にいたく興
つのはおもに (2) の総合評価だと思う．
（ついでながら，
味を示した，と菅野道夫氏から聞いた．前述のハーク
「評価問題研究部会」はその名称にもかかわらず，評
も，
『Devient logic, fuzzy logic』[1] なる書を著してい
価とは何か？を，議論していないようである．
）
る．
（もっともその口調は辛口である．辛口でもそれだ
「評価問題」は， | ファジィがつこうとつくまい
け関心がある，ということだろう9 ）
と，有望な領域だと思う．
ファジィの未来はファジィ論理にあるのかも
②ファジィ論理
ファジィ論理について，ここ何年か調べてきたが，
ファジィ論理も究めるべき事柄の多い分野である．
一筋縄ではいかない．まだまだ未知の世界が目の前に
ひろがっている．新しい地平を切り開くのは若い才能
そも論理とは
である．若い諸君，ファジィ論理は諸君の参入を待っ
論理ないし論理学に関して悩ましくかつ困ったのは，
ています．
論理を広く展望できる `文献' がないことである．これ
を読めば論理のことがあらかた分かるという書もなけ
れば（私の知るかぎり | あるいはないに等しい），論
『ファジィ論理のほとんど全て』
4
理（学）辞・事典もない（私の知るかぎり）…哲学辞・
事典ならばあるんだけれど7 ．
私も歳が歳でもあるが，何より，定年で大学を離れ
| さて．
たため，これ以上調べようと思っても（最新の）資料
かつて論理といえば，古典（2 値）論理を意味した．
が手に入らない．思うに任せなくなった．
1920 年にウカシエヴィッツ ga3 値論理を創始して，古
典論理以外の論理が視野に入ってきた．それらを非古
過去の知識を整理し，地ならしをするのは年寄りの
務めだろうと思う．1 つの区切りとして，書『ファジィ
典論理ないし非標準論理という．これに対して，それ
論理のほとんど全て』にまとめた．論理一般からファ
までの | 何もつかない | 論理は，区別するため古
ジィ論理の最先端まで，これ 1 冊ですむように心が
典論理ないし標準論理とよばれるようになった．つい
けた．
でながら，
「古典」論理は，
本書は索引を除いて 286 ページ，]6 部からなる．第
①昔からある格調高い論理，
Ⅰ部
②現代の論理の土台＝メタ論理であり，これに公式・
ファジィ論理までの道（56 頁），第Ⅱ部
ジィ論理（98 頁），第Ⅲ部
公理，例えば様相を加えると様相論理が得られ，公理・
ファ
論理代数（47 頁），第
Ⅳ部 含意（50 頁），第Ⅴ部 ファジィ推論法の原理
公式を取り除くと，直観論理やクリーネ（ファジィ）
（16 頁），第Ⅵ部
論理になる，といった意味で軸となる論理である．
資料篇（6 頁），以上である．
①から区別するために，②を標準論理ともよぶ．標
第Ⅰ部
準論理以外の論理がすべて非標準論理である．
多値論理，直観論理などなどの非標準論理が生まれ
ファジィ論理までの道
論理学の海図，論理を鳥瞰する (1) 歴史，論理を鳥
た．もちろんファジィ論理もその一員である．
瞰する (2) 構造，論理学各様，論理の完全性，論理学
と数学，の 6 章からなる．
論理代数
ブールによって 19 世紀中葉論理代数が `発見' され
何しろ，私は，数学科の出身とはいえ，在学中論理
た．おおよそこのころから論理の数学化が始まった．論
学のろの字も学ばなかった（学べなかった）．論理学
理は代数の面から研究されるようになった．当初は論
の知識は皆無だったので，自学自習であった．だから，
8 ルーマニアの数理論理学者．1917{89．Moicil，あるいはモア
シルと読むのか．
9 有名な言葉に，好きの反対は嫌いではない．無関心である，と
いうのがある．
理があってそれを表現するものとして論理代数があっ
7 私は「論理学小辞・事典」を編もうとしています．
「中島信之 3
つの道楽」で検索したら，私のページへの入り口に行きつきます．
15
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ここまできても，今でもなお，肝心なところで穴があ
い．少なくとも，ファジィ推論法の `数学的な基礎づ
るんじゃないか．
け' は充分でないと思う．
そうした点も含め，どなたかの手で書に著していた
とはいえこれからファジィ論理を学ぼうとする方々
だければ幸いである．
が，基礎となる論理について知るのに役立つんじゃな
いか，と自負している．まあ，問題は文章がわかりや
すいかどうかだが，これには自信がない．
第Ⅱ部
第Ⅵ部
資料篇
私は，個人としては，
「第 29 章
ファジィ論理
ファジィ語録」が
好きで（あり，ちょっと自慢でも）ある．いろんな方
の発言を並べただけのものだが，そこからファジィ論
ファジィ論理は一筋縄ではいかない．
理とは何かが浮かび上がってくるように思えるからで
一般に，その分野を深く長く研究している方の場合
ある．
は，話を自分の研究に引き入れてしまいがちだという
欠点（と長所）をもつ．その点では私の書は安全であ
『ファジィ論理のほとんど全て』を入手するには
る．広い視野からファジィ論理を紹介している書（だ
本書の入手を希望なさるかたは，私
と私は思う）に，ハエック H¶
ajek の『ファジィ論理の
[email protected]
超数学』[2] がある10 ．
宛にメールを下さい．ソフトサイエンス部会のホーム
ファジィ論理に関してはこれ以上ふれない．とにか
ページからも申し込みいただけますが，こちらは高萩
く本を見ていただくのが一番だ．
先生経由になりますので，できれば私に直接お申し込
み下さい．申し込みあり次第，直ちにお送りします．
第Ⅲ部
あ，1 冊 3,000 円です．
論理代数
公費の場合は，見積書，納品書，請求書，
（および場
合によっては領収書も）をお送りします．私費の場合
第Ⅲ部と次の第Ⅳ部は，論理ないしファジィ論理一
は，送料は当方持ちです．
般の中では，
「一般」に埋もれてしまって，論理代数や
ついでながら，
『t-ノルムの全て』と『あいまいさの
含意のもつ意味がわかりにくくなっていると思うので，
系譜』の残部が少々あります．もし『ファジィ論理の
それらだけを取りだした．
全て』とあわせて購入いただければ，
（私費の場合）1
目に見えない論理を目に見えるようにしたのが論理
冊につき 500 円割り引きます．
代数である．論理代数は，19 世紀中葉の（かの有名
な）ブールに始まったが，独自の発展をした．論理代
数と論理の関係は今後の課題か．
第Ⅳ部
参考文献
[1] Haack, S., Deviant logic, Fuzzy logic，The Univsity
of Chicago Press，1996
含意
[2] P. H¶
ajek, Metamathematics of fuzzy logic, Kluwer
Academic Publishers, 1998
論理を推論の学とすれば，推論，その最も重要な推
[3] 畑村洋太郎，
「失敗学」事件簿，講談社文庫，2007
論である三段論法の基礎とをなすのが含意である．だ
が，一方において含意は相当にわかりにくい．論理一
般とファジィ論理における含意を説くのに 50 ページ
［問い合わせ先］
中島 信之
930-0077 富山市磯部町 2-1-24
TEL & FAX:076-493-2104
を要した．
第Ⅴ部
ファジィ推論法の原理
本書では，もともとファジィ推論法について 1 つの
部を設けるつもりだったが，いささか内容が厖大すぎ，
手に負えなさそうなので、割愛した．ファジィ推論法
はファジィ論理の一部なのか | 私にはよくわからな
10 その後よい書が出ているかもしれないが，何度も書いたように，
現在は最新情報にふれる機会がないのでわからない．
16
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
視覚障がい者支援について
－視覚情報へのアクセシビリティ－
Assistive Technology for Visually Impaired People
－Accessibility of Visual Information－
高木 昇
Noboru Takagi
富山県立大学
Toyama Prefectural University
Abstract: This paper is an interim progress report of the assistive systems for the visually impaired to
access visual information. First, this paper describes an audio-tactile graphics system which consists of a
smartphone and image processing. Since many of visually impaired people use smartphones in their
daily file, our system do not need a special device and is able to provide at a low price. The second system
is to support the visually impaired when they express figures independently. A blind physics teacher
wants to create his teaching materials, but he always needs support of sighted people. The objective of
this study is to develop a system which is able to produce figures by visually impaired people without
help from sighted people.
１. はじめに
にあって両手が自由であることが必要となる．
(2) 特別な装置は不要：新たに特別な装置を購入す
紙などの台紙に凹凸を付けて触って理解できる図
を触図という．視覚障がい者が理数系科目を学習す
ることなく使用できること．
る際，触図の利用は欠かせない．我々は触図に関す
(3) 可搬性：いつでもどこでも使用できること．
る学習支援を目的として，音声情報を含む触図シス
(4) 廉価：低価格であること．
テムの開発を進めている．また，視覚障がい者の一
(5) 再利用性：既存の触図を再利用できること．
部には，自らの考えやアイデアを図などの視覚情報
まず，我々は Kinect を使って RGB-D 画像から音
で表現することを必要としている．このため，視覚
声情報を引き出すためのインタフェースについて検
障がい者が独力で図を編集できる支援システムの開
討した．この検討結果から，利き腕人差し指が音声
発も行っている．本文では，これら二つの支援シス
ガイドの領域内に移動したときに，自動で音声ガイ
テムの概要と途中経過を述べるものである．
ドを呈示する方法が有効であると判明した．そこで，
現在，スマートフォンと画像処理による音声ガイド
付触図システムを試作している．図 1 は本システム
２. 音声ガイド付触図システム
触図に注釈を挿入する場合，通常は点字が用いら
の使用イメージである．多くの視覚障がい者はスマ
れる．これに対して，点字の注釈など図の説明文を
ートフォンを使用しているため，本システムは特別
音声ガイドで提示すれば，より短時間で触図の内容
な装置を購入する必要がない．また，可搬性も高く，
を理解できると考えられる．このような考え方の下，
既存の触図を音声ガイド付触図として再利用するこ
音声ガイド付触図システムは既に開発，商品化され
とも可能である．
ている[1]．しかし，既存のシステムはすべて，①指
位置検出のための特殊な装置を必要とするので，②
システムが高価である（10 万円から数十万円程度），
更に，③既存の触図を利用できない，などの問題点
がある．そこで，我々は次の要件を満たす音声ガイ
ド付触図システムの開発を進めている．
(1) ハンドフリー：両手を用いた触察は片手の触察
図1
より有効である[2]．このため，システムの使用
17
本システムの使用イメージ
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ことから，DV2 触知面の 4 倍の描画用仮想空間をコ
３. 視覚障がい者のための作図システム
視覚障がい者自身が触図を作成するときはレーズ
ンピュータメモリ上に実装した．このため，全盲の
ライターと呼ばれる触図作成用筆記用具を用いる．
ユーザは DV2 をスライドしながら仮想空間に描画
しかし，レーズライタは再描画できない，電子デー
されている図を触察することになる．
タとして保存できないなどの問題点が指摘されてい
本システムを使用して，全盲の被験者（男性，54
る．そこで，渡辺ら[3]は，再描画性の問題解決を目
歳，45 歳時に失明）が作成した図を図 3 に示す．図
的として電子レーズライタと呼ばれる触覚ディスプ
3(1)の触図を被験者に呈示し，同じ図を本システム
レイを試作した．しかし，電子レーズライタでは，
を用いて作図してもらった．被験者の作成した図を
利き手で筆記用のペンを把持しながら図形を描画す
図 3(2)に示す．
る．触察には両手を使用することが効果的であるこ
とからも，描画中に両手を使用できることが求めた
れる．このため，守井らは図形入力方法として，ペ
ンを把持する方法と指先で直接入力する方法を検討
した[4]．その結果，指先で直接入力する方法が有効
であることが示されている．しかし，渡辺らのシス
(a) 呈示図
テムも守井らのシステムも入力された図形は手書き
(b) 被験者の図
図 3 全盲の被験者による作図
入力のため大きく歪むなどの問題点がある．
４. 謝辞
本研究の一部は JSPS 科研費 15H02796 の助成を
受けたものです．
参考文献
[1] ViewPlus 社 製 IVEO, https://viewplus.com/
図2
(H28.11.4)
システムの外観
[2] Valerie S. Morashi et al.: “Effects of using
本システムは次の要素から構成される：①触図を
hands and fingers on haptic performance in
呈示するための点図ディスプレイ DV2
（KGS 社製）
，
individuals who are blind”, Perception, Vol. 43,
③指先位置検出のための Web カメラ，③DV2 の座
pp. 569-588, 2014
標位置検出のためのペンタブレット，④DV2 をスラ
[3] 渡辺哲也，小林真: “視覚障害用電子レーズライタ
イドさせるためのスライドテーブル，⑤USB キーボ
の試作”, 日本バーチャルリアリティー学会論文
ード，⑥PC，及び⑦これらの装置を制御するための
誌, Vol. 7, No. 1, pp. 87-94, 2002
[4] 守井清吾，他: “点図ディスプレイを用いた触図作
プログラム．
本システムでは，物理学の教科書等で使用する基
成システムにおけるペン・指先入力の比較”, 映
本的な図の作図を目的として開発した．基本図形は，
像情報メディア学会誌, Vol. 67, No. 12, pp.
直線，矢印，円，楕円，円弧，円弧矢印，放物線で
J448-J545, 2013
ある．これらは，Web カメラで取得した指先の軌跡
のパターン認識による図形挿入と USB キーボード
連絡先
のキー入力の二つの入力方法を準備している．また，
高木
触図呈示のための DV2 は，触知面が極めて小さい
E-mail: [email protected]
18
昇
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Twitter
Extraction of Changing User's Interests from a Series of Tweets
○中村 修三，山田 耕一, 畦原 宗之 , 鈴木 泉
○Shuzo Nakamura, Koichi Yamada, Muneyuki Unehara , Izumi Suzuki
長岡技術科学大学
Nagaoka University of Technology
Abstract: This paper presents extraction of changing user's interests from a series of tweets. A vast
number of people post short messages on Twitter everyday. The messages contain their various interests
and much personal information. There are many studies to extract the users' interests from a series of
tweets. However, there are few studies to extract “change of interests”. The paper discusses the way to
grasp change of interests of twitter user.
.
インターネット, スマートフォンの普及に伴いイ
(1)
ンターネット上で利用出来るソーシャルネットワー
クサービス(Social Network Service: SNS)が一般的
(2)
に利用されるようになった. 中でも Twitter[1]は
SNS を代表的するサービスの 1 つである.
･
Twitter では, 日々多くのユーザが自身の日常や関
(3)
心のある物事について投稿を行う. そのため,
数が関心を寄せる「話題」を「興味」として扱わず,
Twitter 上にはユーザのパーソナル情報および興味
特定のユーザに限定した場合のみを「興味」と定義
を示す情報が多く存在する. そのような背景から,
する.
Twitter からユーザの興味を抽出しユーザに合わせ
.
た情報提供を行う研究（例えば[2][3]）が存在する.
3.1 TF
IDF
これらの多くは, ユーザの興味をどのように抽出す
TF・IDF 法は, 文書に出現するキーワードに重み
るかに留まっており興味変化, 嗜好変化の抽出は行
付けを行う手法である[2]. キーワード に与えられ
っていない. そこで, 本研究は Twitter ユーザの興
る重み
味変化を抽出することを前提として,ユーザの投稿
ーワード の文書 における出現回数,
は, 式(1), (2), (3)で表現できる.
は, キ
は文書
に出現する全単語の出現回数の和である. 文書の
を取得し投稿に含まれる単語からユーザの興味を抽
集合 の総数を
出する手法を提案する.
,
のうちキーワード を含む文書
.
数を
本研究では, 「話題」と「興味」という言葉を明
の文書にあまり現れない時,
とする. キーワード が 1 文書に多く現れ他
は高い値を示す. こ
確に区別するためそれぞれを定義する.「話題」は,
のとき, キーワード は文書 を特徴付けるキーワー
「全ての会話や議論に存在し一連の会話や議論の主
ドとして扱われる. TF・IDF 法では, 単語の文字列
軸となる主題」とする. 話題が存在しうる期間は話
一致のみに着目し単語の重みを決定している. その
題によって様々である. 例えば, スポーツや台風に
ため, 同義語, 類義語を全く別のものとして扱って
関する速報のように短期的に取り扱われる話題や,
しまう. 他に, 認識可能な単語の範囲が形態素解析
原発や憲法改正に関する議論のように長期的に取り
器の辞書に左右される, ユーザの興味とは関係のな
扱われる話題が存在する. 「興味」は「任意の 1 人
い語(顔文字, 記号)がノイズになる, と問題がある.
のユーザが特に高く関心を示した話題」を指す.
3.2 本研究の提案手法
Twitter では多数の人が自身の関心がある任意の話
本研究は，1 人の Twitter ユーザの興味変化を抽
題に関して投稿を行っている. 本研究では不特定多
出することを前提として, ユーザの投稿を取得し投
19
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
稿に含まれる単語からユーザの興味を抽出する手法
表 1 実験データと実験環境
を提案する. 提案手法では, 取得した投稿(Tweet)集
合を一定件数ごとに区切り, それぞれの区間ごとに
Tweet をまとめ文書集合を作成する(図 1). そして,
生成した文書集合に対し TF・IDF 法を適用し, 区間
ごとに「区間を特徴付ける単語」を複数個抽出する.
「区間を特徴付ける単語」を一定区間におけるユー
ザの興味を示す単語として「興味語」と名付ける. 多
t0
t3
区間に共通する興味語は「区間を特徴づける単語」
t0
であるとは言いづらい反面,「ユーザの興味の継続,
t1
連続性を示す単語」であると捉えられる. この単語
Tweetの集合
S1
を「継続興味語」と名付ける. 興味変化を捉えるた
文書
D1
めに, 「継続興味語」の抽出が必要である.
単語
図 1 に示す方法では, 独立区間(
t3
t2~t3内の
の
Tweetを取得
Tweetの集合
S2
Tweetの集合
S3
文書
D2
単語
,…
文書
D3
単語
,…
,…
図 1 独立した区間から興味語を抽出する例
)のみを考慮する. このため, 「継続興味語」を抽
単語
出しづらい. そこで, 図 2 に示すように他区間と重
複する区間(
t2
t1~t2内の
の
Tweetを取得
を設け興味語を抽出する.
Tweet
これによって継続興味語を抽出可能と仮定した.
時間
ta
t0
.
4.1
文書
Tweetの集合
Tweetの集合
tb
t1~t2内の
の
Tweetを取得
単語
出の被験者として橋本徹氏を選定した. 選定理由は，
tc
t2
Tweetの集合
S2
t2~t3内の
の
Tweetを取得
,…
単語
t3
Tweetの集合
S3
文書
D2
文書
D1
実験データおよび実験環境を表 1 に示す. 興味抽
,…
文書
t1
Tweetの集合
S1
単語
,…
文書
D3
,…
単語
,…
図 2 重複区間を考慮した興味語抽出
1) 特定分野において専門的知識を有する人物であ
10 語抽出する. 実験の目的は, 興味変化抽出におい
る，2)日常的にツイッターを利用している，3) 自身
て重複区間を考慮する有効性の検証である.
の関心について情報を発信している，である. 実験
4.2
には, 2015/4/2 ~ 2016/7/15 に投稿された橋本徹氏
100 件ごとに独立区間で区切った場合の結果を図
の過去 3188 件の Tweet を使用した. 使用件数が
3 に示す. 図 4 に 100 件ごとに重複区間を考慮した
3200 件程度である理由は, Twitter が提供している
場合の結果を示す．横軸は時間, 縦軸は区間におけ
API の取得条件が 3200 件以内であることに起因す
る単語の特徴度(本研究における興味度)を表す.
る. 形態素解析器は MeCab, 使用辞書は ipadic,
図 3 の 1～400 件から抽出された興味語を見ると，
mecab-ipadic-neologd である. 抽出の対象とした品
「ゼミ, 政治経済, 激辛, メルマガ，橋本徹」という
詞は名詞, 特に一般名詞と固有名詞に限定した.
単語が頻出する．これは直近 400 件ごろから「”橋
実験内容は以下の手順で行う. 橋本徹氏の投稿群
下徹の激辛経済ゼミ”, “橋下ゼミ・メルマガ”,
“橋本
を時系列順に 100 件, 500 件ずつ区切り独立した区
政治経済ゼミ”」といった橋本氏独自の企画が発足し,
間ごとに文書集合を生成する(図 1). これとは別に
それらの文言が投稿集合内で頻出していることが原
重複する区間についても文書を生成する(図 2). 重
因であった. TF・IDF 法を用いた本手法は, 他区間
複区間に関しては, 対象件数の半数が重複するよう
に含まれず, ある 1 区間に多く含まれる単語が抽出
に調整した. 例えば, 1~100 件, 100~200 件を対象と
される. そのため,意図的に繰り返される文言が区
する独立区間に対し, 重複区間は 50~150 件を対象
間中に存在するとその区間で抽出される単語に偏り
にするように設定した. 文書それぞれから興味語を
が生まれる. 該当企画は過去 400 件より
20
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
最近の投稿に含まれているため, 1~400 件の投稿を
高い
用いた考察は控える.
図 3 の 600~1000 件の内容を見ると, 「大阪市長
興味度の
高さ
選挙, 吉村洋文」が 4 区間連続で共通している. こ
れらを興味が継続的であることを表す「継続興味語」
として扱う.
重複区間を考慮した場合(図 4)を見る
低い
と継続興味語に対して興味の強度変化がより詳細に
2500~3000
2000~2500
1500~2000
1000~1500
500~1000
0~500
説明会
与党
党大会
ニコ
大阪市長選挙
ゼミ
特別区
存立危機事態
規約
生年月日
ひろふみ
激辛
図書館
個別的自衛権
附則
党大会
吉村洋文
政治経済
基礎自治体
他国
維新の党
吉村洋文
大阪ダブル選挙
メルマガ
弁護士会
道徳
執行役員
永田町
選対
舛添
防災対策
集団的自衛権
任期
世帯
大阪市長選
トランプ
法律事務所
時間配分
カント
国会議員
維新の党
むら
一部事務組合
自衛権
偽物
ひとり
大阪府知事選挙
保育士
区
靖国参拝
内閣
栗原氏
陣営
弁護士法人
公平性
概念
意見書
意見書
吉村
古い
わかる. 例えば「大阪市長選挙」の興味度が 600~700
図5
件に近づくにつれ高まっている. これは, 同区間中
高い
特別区
弁護士会
選挙」を使用したと考えられる. また, 独立区間の
興味度の
高さ
みを考慮した場合(図 3)では見られなかった「大阪ダ
ブル選挙, 大阪市長選, むら, ひろふみ」といった継
続興味語についても変化が捉えられるようになる.
低い
より多くの継続興味語を捉えることで, ユーザの興
図 6
22500~2750 2000~2500
与党
与党
1500~2000
大阪会議
党大会 党大会
1250~1750
1000~1500
ニコ
750~1250
500~1000
吉村洋文 大阪市長選挙
250~750
0~500
ゼミ
ゼミ
道徳
規約
規約
生年月日
大阪市長選挙
選対
激辛
激辛
道徳
カント
附則
国会議員
党大会
ひろふみ
ひろふみ
政治経済
政治経済
永田町
むら
吉村洋文
選対
メルマガ
むら
慰安婦
舛添
吉村
大阪ダブル選挙
教養
保育士
存立危機事態 存立危機事態
説明会
1750~2250
図書館
自衛権
カント
靖国参拝
国会議員
附則
時間配分
個別的自衛権
大阪会議
首相
執行役員
執行役員
防災対策
概念
他国
リーダー
任期
基礎自治体
他国
個別的自衛権
戦犯
意見書
永田町
世帯
スポット
大阪市長選
池田氏
トランプ
公平性
集団的自衛権
自衛権
与党
党員
党員
臨時
商店街
吉村
募集開始
法律事務所
生放送
審議拒否
集団的自衛権
為政者
維新の党
任期
ひとり
候補
大阪府知事選挙
会員
きれいごと
タウンミーティ
ング
機雷掃海
靖国参拝
近現代史
内閣
議決権
栗原氏
大阪ダブル選挙
陣営
開講
弁護士法人
古い
味変化を幅広く捉えられる. 100 件単位の実験結果
慰安婦
新しい
500 件ごとに独立区間を考慮した場合の結果
2500~3000
説明会
に選挙開票があったため, 橋本市が多く「大阪市長
時間
吉村洋文 大阪市長選
意見書 意見書
時間
新しい
500 件ごとに重複区間を考慮した場合の結果
から, 重複区間を考慮することにより独立区間を捉
えるよりも詳細に継続興味語の変化傾向を把握でき
図 6 ともに隣接区間との共通単語が図 3 に比べ少な
ると判断した.
い. これは以下 2 つの原因が考えられる. 1)区間が考
次に 500 件ごとに独立区間で区切った場合の実験
慮する件数が増えるため興味が既に変化している可
結果(図 5), 重複区間を考慮した場合の実験結果(図
能性がある, 2)TF・IDF 法の”他文書に対し排他的で
6)を示す. 500 件単位では 500~1000 件のみで連続性
ある特性”に起因している. 1 について, 表 2 に示す
について考察ができないため全件を利用する. 図 5,
ように 500 件で抽出を行う場合, 1 区間で考慮する
高い
興味度の
高さ
低い
900~1000
800~900
700~800
600~700
500~600
400~500
300~400
200~300
100~200
1~100
大阪市長選挙
三角公園
ひろふみ
大阪市長選挙
選対
慰安婦
ゼミ
ゼミ
ゼミ
ゼミ
利用者
吉村洋文
大阪市長選挙
大阪ダブル選
挙
本部
池田氏
政治経済
激辛
激辛
メルマガ
吉村洋文
言いなり
むら
市岡中学校
大前
シニョレッジ
会員
政治経済
政治経済
きれいごと
ラジオ
アメ村
吉村洋文
数字
相手方
大阪市長選
吉村洋文
大阪ダブル選
挙
松井一郎
万博公園
期日前投票
政治的
チケット
大阪市長選挙
商店街
ひろふみ
組織論
ラグビー
子
跡地
選挙結果
市外
借り入れ
うち
エキスポラン
ド
法定
ひろふみ
新庄小学校
訴え
拡散希望
大阪府知事選
ガールズバー
挙
正当化
激辛
保育士
メルマガ
都議会
高橋氏
募集開始
バウチャー
舛添
中山泰秀
最低賃金
教養
非正規
公用車
舛添
人身売買
知性
正規
トランプ
小池さん
不当労働行為
開講
法案
スーチー
第三者委員会
首都
軽減税率
近日
使用済み核燃
料
保育士
娘
社会保障
ロジック
育休
橋下徹
橋下徹
核兵器
記者
古い
3
高い
時間
興味の対象が変化し投稿の内容が変化することは十
分に有り得る. また, 1 区間で考慮する単語数が増え
ることから, 他区間に含まれていない単語が抽出さ
れる. これらにより継続興味語の数が減少した.
重複区間を考慮することで, 独立区間のみを考慮
した場合(図 5)に比べ「吉村洋文, 党大会, 意見書」
新しい
といった継続興味語の傾向変化が重複を考慮しない
100
900~1000 850~950
800~900
750~850
700~800
利用者
三角公園
ひろふみ
ひろふみ
利用者
三角公園
吉村洋文
吉村洋文
大阪市長選挙
吉村洋文
吉村洋文
大阪ダブル選挙
言いなり
大阪市長選挙
むら
大阪ダブル選挙
ラジオ
ラジオ
アメ村
むら
吉村洋文
大阪ダブル選挙
ラグビー
相手方
大阪市長選
大阪市長選
大阪市長選挙
興味度の
高さ
投稿は平均 66.71 日分の投稿である. 約 2 ヶ月間で
650~750
600~700
550~650
500~600
選対
選対
大阪ダブル選挙
本部
本部
市岡中学校
選挙結果
大前
市岡中学校
大阪府知事選挙
大前
ガールズバー
ひろふみ
吉村洋文
市外
記者
大阪市長選挙 大阪市長選挙
数字
チケット
大阪市長選挙
万博公園
万博公園
期日前投票
期日前投票
政治的
政治的
借り入れ
大阪市長選挙
松井一郎
商店街
商店街
大阪府知事選挙
ひろふみ
陣営
市外
ラグビー
吉村洋文
大阪ダブル選挙 エキスポランド エキスポランド
むら
選挙結果
口
社会保障
チケット
アメ村
新庄小学校
跡地
跡地
大阪市長選
法定
経済政策
組織論
太田
千本小学校
アメリカ村
天下り団体
訴え
訴え
拡散希望
法定
陣営
低い
古い
図 4
時間
場合に比べ詳細にわかる.
これより, 対象とする区間が短期間, 長期間に関
わらず重複区間を考慮することで, より詳細な継続
興味語の傾向変化を把握できると判断した. 今回の
実験結果は, 重複区間を考慮することで標本数が増
加し観察回数が増えたことが要因だと考えている.
TF・IDF 法の排他的特性を補う結果となった.
新しい
100 件ごとに重複区間を考慮した場合の
実験結果(500~1000 件のみ)
21
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
2014.
[3]渡邉恵太, 加藤昇平 : Twitter における語の関連
2 100, 500
100 件
500 件
性に着目したユーザ興味語抽出手法の提案, 人工知
平均(日)
14.09
66.71
能学会全国大会論文集 26, 1-4, 2012.
標準偏差(日)
17.43
72.88
長岡技術科学大学 情報経営システム工学専攻
5.
中村修三
TF・IDF 法を用いた本手法では, 投稿集合を区切
る区間に応じて発見できる興味が変化する. 短期間
E-mail : [email protected]
で変化する興味を発見する場合は短期間で, 長期間
に渡る興味を発見する場合は長期間で区切ると発見
可能な興味を変化させることができる. つまり, 考
慮区間長を最適に決めることが継続興味語を抽出す
る上で大切な要素である. 現段階では区間長を決め
る方法がなく, 決め打ちで件数を決定している. 最
適な区間長決定手法を考える必要がある.
表２に示すように件数を元にした分割方法では
区間が考慮する投稿件数がまばらになる. 100 件で
は平均 14 日に対して標準偏差 17 日, 500 件では平
均 66 日に対して標準偏差 72 日と標準偏差が平均を
上回る結果となった. 日数を元にした分割方法と実
験結果を比較する必要がある.
加えて, 考慮区間長を延ばすほど継続興味語の発
見は難しくなる. その原因は 1 区間で考慮する件数
が増加するため区間数(文書数)が減ること, 同区間
で同義語, 類義語が出現した場合, それらを別物と
して扱うことにある. このため, 複数区間で共通す
る単語が抽出されない.これは, 同義語, 類義語を置
き換えることで解決できると推測する.
また, 本研究の手法では対象ユーザの超長期に渡
る興味は抽出されない. 超長期間に渡る興味単語は
投稿集合全体に出現するため, TF・IDF による重み
が低い値になることに起因する.超長期間の興味を
取り出すことは分野の異なる他ユーザの投稿集合と
比較することで可能であると考える.
参考文献
[1] Twitter https://twitter.com/ (2016 年 10 月 11 日)
[2]久米雄介, 打矢隆弘, 内匠逸 : 興味領域を考慮
した Twitter アカウント推薦,マルチメディア, 分
散, 強調とモバイル(DICOMO2014)シンポジウム,
22
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
楽曲の感性イメージを考慮した楽曲情報の可視化のための
絵地図生成手法の検討
A study on the method of making the pictorial map for visualization
of music information with affective image of music
○大園 恭平，畦原 宗之， 山田 耕一， 鈴木 泉
○Kyohei Oozono， Muneyuki Unehara， Koichi Yamada， Izumi Suzuki
長岡技術科学大学
Nagaoka University of Technology
Our previous study proved that the pictorial map took advantage of
understanding the music information for beginner. However, previous map had little
expression, using few rules of converting from music to map. In this paper, we propose
more rules that reflect affective image of music, and the examples of pictorial map from
nursery songs are shown.
Abstract:
１．はじめに
情報技術の発展に伴い，音楽の試聴や制作への
コンピュータの活用が見られるようになった．特
に作曲支援ソフトウェアには，有料の製品だけで
なく無料で利用できる製品も増え，音楽への知識
がない人でも作曲をする土台を作ることが容易
となった．しかし，作曲支援ソフトウェアの多く
は音楽知識がある人を対象に作られているため，
作曲に興味を持った初心者が挫折してしまうと
いうことが考えられる．このことは，作曲が従来
よりも身近になったにも関わらず，音楽を楽しむ
新たな機会を失ってしまう可能性にもつながる．
先行研究[1]では，上記のような挫折を起こす理
由として，支援ソフトの楽曲の表示方法に注目し
た．従来のソフトで使用される「ピアノロール」
に代わる，「楽曲絵地図」という表示媒体を提案
した．人が日常的に目にし，直感的に全体を把握
することのできる「絵地図」に着目し，初心者に
も楽曲理解が容易にできることを示唆した．しか
し，以前の絵地図は変換ルールが少なく，絵地図
の表現幅がとても狭いものであった．そのため，
絵地図の表現を豊かにするためのルール作成が
必要であるということが課題であった．
本稿では，楽曲の構成要素をもとに，楽曲の持
つ感性イメージを反映するための新たな絵地図
作成のルールを提案する．そしてこのルールをも
とに幾つかの童謡曲の絵地図作成を試みた．
2.
画する．各正方形をグリッドと呼ぶ．楽曲の
各小節と各グリッドは図 1 中の①のように
対応することとし，このグリッド内に各小節
内の楽曲要素に対応した絵地図の家や木な
どのオブジェクトを配置する．1 つの小節に
対応する 2 つのグリッドのうち上部のグリ
ッドが小節の前半，下部のグリッドが小節の
後半の楽曲要素に対応する．
各グリッドに対応している小節内の各音に
ついて，×印でグリッド内に表記する(図 1
中の②)．この×印は，絵地図のオブジェク
トを配置する場所を示している．また，×印
の大きさは，音価(音の長さ)の大きさに対応
し，配置するオブジェクトの種類や大きさに
関係する．
2．以前の楽曲絵地図作成の手法
以前の研究[1]では，楽曲情報について，各小節
内の音の数，各音の音価（音の長さ）のみを利用
し，童謡「赤い靴」の絵地図を作成した．作成手
順は以下の通りである．
1. 正方形の絵地図を用意し，これを楽曲の小節
数に応じて図 1 中の①のように正方形で区
23
図 1 絵 地 図 の 作 成 例
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
3.
隣り合ったグリッドの×印の数が異なる場
合は境界線を道路・道(図 1 中③の赤線)にす
る．同じ数の場合はグリッドの境界線を消し，
ひと繋ぎの区画とする(図 1 中の③)．更に，
画面の端から端までが特定の音価であった
場合は河川や池，海の区画とする．
×印を対応する建物のオブジェクトに置き
換える。例では絵地図作成サービス[2]を用い
て絵地図を作成した(図 1 中の④)
上記に示した絵地図は，特定の楽曲における全
ての楽曲要素を表現できているとは言えない．例
えば配置するオブジェクトには民家の形状しか
使用しておらず，街の雰囲気などに特徴的な部分
が見られない．これは，現時点における地図作成
における明確なルールが不足しているために，地
図を構成する要素が曖昧であったり少なくなっ
たりしているためである．
分割していたが，今後は 1 小節を一つのグリッド
として考える．
次に 2 章(図 1)で述べた手法を更新した手法に
より，グリッドのマージを行う．まず各グリッド
に対応するメロディパートの各音を×印で表記
する．そして隣り合ったグリッドの×印の数が同
じ場合はグリッドの境界線を消し，ひと繋ぎのグ
リッドにマージする．最後に，残ったグリッドの
境界線を道路・道(図 1 中③の赤線)にする．
図 3 グ リ ッ ド の 分 割
3．絵地図の作成手法
本研究ではまず，楽曲内の構成要素を分析する
ことでその楽曲の特徴にある程度一致する普遍
的な感性イメージが存在すると仮定した．それら
が反映された新たな楽曲絵地図を作成すること
で，ユーザが楽曲の印象や，その変化を捉えやす
く，また絵地図の表現に幅が生まれると考えた．
この仮定を踏まえ，本稿では感性イメージを考慮
した新たな変換ルールを加えた楽曲絵地図作成
手法について紹介する．
3，1作成の流れ
楽曲絵地図の作成手順を図 2 に示す．
図 2 絵地 図作成 のフロ ーチャ ート
3．2 楽曲入力とグリッドのマージ
楽曲を入力する．扱う楽曲は MML 形式で記述
されており，メロディ・伴奏などの楽曲情報は既
知であるとする．次に絵地図の土台となる正方形
を用意し，これを楽曲の小節数に応じて四角形で
区画する．各四角形をグリッドと呼ぶ．8・16 小
節の楽曲で分割した絵地図の例を図 3 に示す．8
小節の場合，以前までは 1 小節を前半・後半部と
24
3．3 グリッドの特性計算
次にグリッドの特性計算について説明する．以
前の研究ではグリッドは表示するオブジェクト
に関する区画を調整する意味を持つのみであっ
たが，本稿ではグリッドに特性をもたせ，より感
性イメージを考慮したルールに活用する．グリッ
ドの特性計算により，システムは各グリッドの音
楽要素をみて，そのグリッドがどのような一般的
な感性的イメージを持つかを個別に判断，分類す
る．つまりそのグリッド内にどのようなオブジェ
クトを配置できるかを規定する．例えば，特性が”
工場”と判断・分類された場合，そのグリッド内に
は工場に関わる煙突やタンクなどのオブジェク
トを配置できるという事になる．
グリッド特性は，特性ファクタという「各グリ
ッドが持つ特性を決定する下位要素」によって規
定される．以下に特性ファクタを示す．
① 都会度𝑓! ：グリッドの都会度合い
② 活発度𝑓! ：グリッドの賑やかさ度合い
③ 単調度𝑓! ：グリッドの単調さ具合
各特性ファクタに「ℎ𝑖𝑔ℎ ↔ 𝑙𝑜𝑤」の判定を行い，
3 つの組み合わせによりグリッドの特性を決定す
る．この「ℎ𝑖𝑔ℎ」・「𝑙𝑜𝑤」の値は楽曲から得られ
る要素で，各ファクタに尤もらしいと思われる楽
曲の構成要素を数値化することで得ることとす
る．各特性ファクタの計算方法について紹介する．
ⅰ) 都会度𝑓!
この値は「テンポ(曲の速さ)」によって決定す
る．テンポが速ければ忙しい曲，遅ければゆった
りとした曲の印象を与える．これは例えば絵地図
上での都会的な忙しさや，田舎のスローペースな
雰囲気とマッチすると考えられる．本稿では
𝛼 = 110を基準とした以下の計算式で算出する．
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
f! =
𝑙𝑜𝑤 (if BPM < 𝛼)
high (if BPM > 𝛼)
𝑆! = 𝑆! ∗ 𝑤! + 𝑆! ∗ 𝑤! 0 ≤ 𝑆! ≤ 1
𝑆! = 𝑆! ∗ 𝑤! + 𝑆! ∗ 𝑤! 0 ≤ 𝑆! ≤ 1
ⅱ) 活発度𝑓!
活発度とは小節内の音がどの程度の頻度で発
声されているかを示している．頻度が高ければ騒
がしい印象を与えると考えられる．よって，
「𝑎! ：
小節内の音の細かさ」，
「𝑎!：メロディと伴奏の同
時発声タイミングの割合」の加重和で算出する．
𝑎! =
𝑆 = 𝑆! ∗ 𝑤! + 𝑆! ∗ 𝑤! + 𝑆! ∗ 𝑤! 0 ≤ 𝑆 ≤ 1
f! =
3．4各グリッドのグループの決定
メロディまたは伴奏音の総数の多い値
各グリッドについて都会度，活発度，単調度が
それぞれ ℎ𝑖𝑔ℎ か 𝑙𝑜𝑤 か判断される．これらに
より，そのグリッドに配置するオブジェクトの傾
向を示すグループを表１のように決定する．
楽曲中で使用されている最低音価の大きさ
𝑎!
=1−
𝑙𝑜𝑤 (if S < 0.5)
high (if S > 0.5)
メロディと伴奏で同時発声する音の総数
小節内の音を発するタイミングの総数
表 1 特性ファクタと決定するグループ
S! = 𝑎! ∗ 𝑤! + 𝑎! ∗ 𝑤! 0 ≤ 𝑓! ≤ 1
f! =
𝑙𝑜𝑤 (if S! < 0.5)
high (if S! > 0.5)
ⅲ) 単調度𝑓!
単調度とは，音楽的に同じようなフレーズが鳴
っているかを測る度合いである．地図上では単調
度が高いほど「ビル街」のような同じ建物が立ち
並ぶような特性に関わると仮定する．単調度は小
節間の類似度𝑆を割り出すことで計算する．単調
度の計算では 2 小節間の比較を行う.
マージされたグリッド内では隣り合う小節ご
との類似度を計算し，最大値をそのグリッドの類
似度とする．マージされていない単体のグリッド
については類似度 0 とする．その理由は，マージ
の時点で合成されていないグリッドは，他小節と
は異なった特徴をもつグリッドである可能性が
高いためである．小節間の類似度の計算には，
「𝑆! ， 𝑆!：小節間における音高の変化範囲の類似
度」，
「𝑆! ， 𝑆!：小節間おける音高の移動方向の類
似度」，「𝑆! ：小節間におけるコードの役割(T, D,
SD)の類似度」の合計値で算出する．また，比較
する小節内の伴奏における音価の大きさとタイ
ミングの数が異なれば𝑆! ，𝑆! の値は 0 とする．
𝑆! ， 𝑆! =
𝑆! ，𝑆! =
変化範囲の小さい小節の変化量
変化範囲の大きい小節の変化量
3．5配置オブジェクトの決定
本章では，グリッド特性を決定した後に，その
各グリッド内に具体的に配置する建物などのオ
ブジェクトの決定方法について述べる．本研究で
は，メロディパートの音 1 つごとにオブジェクト
を割り当てる．また，オブジェクトの色について
の決定方法についても紹介する．
3．5．1オブジェクトの割り当て
「音価(音の長さ)が大きくなれば，オブジェク
トの規模も大きくなる」と考え，各音価で対応す
るオブジェクトを 1 対 1 で決める事とした．ただ
し，休符についてはオブジェクトを割り当てない
こととし，図 4 に示す 8 種類の音符を扱うことと
する．例えば，グリッド特性「住宅」の場合，全
音符は「マンション」，四分音符は「一軒家」の
ように聴取者が音価の大きさをイメージしやす
いようなオブジェクトの対応付けを行う．
また画面の上端－下端または左端－右端のグ
リッドが全て同じ音価の配置であった場合はひ
と続きの河川や線路のオブジェクトとする．
比較小節内の音高変化の一位数
小節内の音高の変化回数
𝑆! ：一致していれば 1，不一致の場合 0
上記の計算をもとに，
「𝑆!：メロディの類似度」，
「𝑆! ：伴奏の類似度」，そして𝑆! の値の合計値を小
節間の類似度𝑆とする．
25
図 4 使用する音符
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
3．5．2オブジェクトの色の割り当て
各オブジェクトには屋根や壁などに色が配色
されており，それらは可変と仮定する．そしてシ
ステムは絵地図全体の色調が楽曲の特性を反映
した自然なものになるように色を割り当てるこ
とを目指す．
まず絵地図に使用する色相は，システムを利用
するユーザが幾つかの色相からあらかじめ選ぶ
事とする．次にグリッド内の各オブジェクトには
選択された色相で色を割り当てる．次に明度を各
音の音高から，彩度を音色の種類により決定する．
この手法には，長田ら[3]の「共感覚」に関する考
察結果を参考とした．
4．プロトタイプシステム
図 6 「赤い靴」楽曲絵地図
4.1考察
童謡曲「アイアイ」，
「赤い靴」の楽曲絵地図を，
3 章で述べた方法で作成した．絵地図作成に使用
した各パラメータは表 2 にまとめて記載する．
表 2 パラメータ一覧
以前の楽曲絵地図と比べ，絵地図による楽曲の
違いを絵から感じる印象で表現できており，ユー
ザの楽曲構造への直感的な理解をより支援でき
ている可能性がある．今後は，特に線路や川など
を配置することの妥当性や，グリッド特性計算の
パラメータの妥当性などについて，被験者実験に
より検証する．
5．おわりに
本稿では，初心者のための作曲支援を目的とし
て，楽曲の表示方法を，親しみやすい絵地図にす
ることで，楽曲の構造や雰囲気を視覚的にわかり
やすく提示することを目指した．そのために，楽
曲の構成要素から，絵地図に変換するためのルー
ルを考案し，以前よりも表現力が高い絵地図の作
成に成功した．
今後は，被験者によるアンケート調査を行い，
提案手法の有効性を検証する．
参考文献
[1]大園恭平,畦原宗之,山田耕一,鈴木泉：楽曲
絵地図:初心者を対象とした楽曲情報の表示方法
に関する研究,日本知能情報ファジィ学会第 24
回 北 信 越 支 部 シ ン ポ ジ ウ ム 予 稿 集 ,pp.33-36,
2015
[2]マップ君
URL:http://www.kisnet.or.jp/nappa/software/m
ap/mapkun.html, 閲覧日:2015/10/13
[3]長田典子,岩井大輔ら：音と色のノンバーバル
マッピング–色聴保持者のマッピング抽出とその
応用–,電子情報通信学会論文誌. A, 基礎・境界
J86-A(11), pp.1219-1230, 2003
図 5 「 ア イ ア イ 」 楽 曲 絵 地 図
連絡先
畦原宗之
長岡技術科学大学情報・経営システム工学専攻
[email protected]
26
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
基本図形の付加による対話型デザイン装飾支援システムの開発
A Study of an Interactive Design Decoration Support System
by Adding Basic Graphic Shapes
○浴廣 義紀, 畦原 宗之, 山田 耕一, 鈴木 泉
○Yoshiki Ekihiro, Muneyuki Unehara, Koichi Yamada, Izumi Suzuki
長岡技術科学大学
Nagaoka University of Technology
Abstract: This paper proposes an interactive design decoration support system, which allows users’
wants to modify impression of the inputted motif graphic to the graphic with satisfied affective image, by
adding several number of basic graphic shapes around the motif. The proposed system introduces the
Interactive Evolutionary Computation framework for interacting between users and the system in order
to acquire decorative picture, reflecting users’ subjectivity. The proposed framework and decorated
examples by the prototype system are described in this paper.
１. 背景・目的
その実現のために，大衆向けに生産された製品の
現代社会では，単一のデザインを持つ製品の大量
持つ形やモチーフを活かしながら，それらに装飾デ
生産が行われている一方で，個人ごとに異なるニー
ザインを施すことで，製品の印象を個人の満足する
ズに合った個別の製品デザインが注目されている．
デザインに調整することを支援する，情報処理シス
その例が「スマートフォン」である．スマートフォ
テムの構築を目的とする．これにより，デザイン全
ンは基本的なデザインの種類は少ないが，代わりに
体の「配色」の変更により印象調整を行う，これま
多様なデザインのケースが製造され，利用者は個人
での支援システムに関する研究[1]を更に発展させ
の嗜好に合うケースを選択，装着し，装飾を行って
る．
きた．このように，購入した製品そのものの形や色
２. デザインの生成手法
を変更することは難しいが，装飾を施すことで個人
が満足するデザインに調整するなどの工夫を行う余
デザインの生成は入力されたモチーフ(既存デザ
イン)の周囲に図 1 に示すような基本図形を複数配
地のある製品は多い．
置することにより行う．本稿では 5 種類の基本図形
また，有名ブランドの発売する多様な種類の製品
では，ブランドのもつ「モチーフ」
「エンブレム」
「ロ
を使用することとした．
ゴ」等を用いながら，醸成したい新たなイメージに，
アレンジ・調整することが試みられている．
上述した二つの事例のように，既存のデザインを
活かしながら，効果的な装飾を施すことは頻繁に行
われている．しかしながら，スマートフォンケース
なども大衆向けにデザイン，生産されているもので
あり個人の嗜好に最適化されたものではない．個人
の嗜好に最適化された装飾デザインを自力で作成す
ることができるのであればこの問題は解決するが，
図1
デザインの知識を持たない人が効果的なデザインを
基本図形
作成するのには限界がある．以上のことから，デザ
インの知識持たないような人が，個人の嗜好に合う
このようにデザインを生成する理由は二つある．
効果的なデザインを作成することが実現できれば有
一つ目は複数の基本図形の配置パターンや色によ
っていろいろなデザインの手法を再現できるからで
用である．
27
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ある．ここではその例として，図 2 のモチーフに基
インを獲得することを目指し[2]，機械と人間の相互
本図形を付加することで，デザインの手法である「整
作用によって解の探索を図る対話型進化計算
列」を再現したものを図 3(a)に，
「アクセント」を再
(Interactive Evolutionary Computing : IEC)の手
現したものを図 3(b)に示す．
法として対話型遺伝的アルゴリズム(Interactive
Genetic Algorithm : IGA)を使用する．
二つ目の理由は，基本図形が特別な意味を持たな
いことである．図 4 に示すような特別な意味を持つ
IGA は生物の進化を摸倣した遺伝的アルゴリズ
図形を付加すると，そのイメージにデザインの印象
ム(Genetic Algorithm : GA)をベースに持つアルゴ
が左右される恐れがある．
リズムであり，図 5 に示すような流れで動作する．
このように単純な図形をデザインの生成に使用す
ることは，生成されたデザインを目にした人に無駄
な情報を与えない効果がある．
図2
モチーフ画像
図5
IGA のフローチャート
４. デザイン装飾支援システム
４.１システムの概要
デザイン装飾支援システムのアルゴリズムを
図 6 のフローチャートに示す．
(a)整列
図3
図4
(b)アクセント
デザイン手法の再現
特別な意味を持つ図形
３. 対話型進化計算の手法
ユーザーの嗜好は多様であり，同じデザインに対
する印象も異なるため，システムが一人一人のユー
ザーに合うデザインを最初から提案することは難し
い．そこで本研究ではユーザーとシステムが対話を
図 6 システムのフローチャート
繰り返しながら次第にユーザーの嗜好に合ったデザ
28
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
表1
まず最初に装飾を行いたいモチーフとなる画
表現型
像を入力する．続いて，ユーザーと対話を行い，
値
図形
x 座標
の位置
デザインの方向性を決定し，それをもとに初期集
0
円
地点あ
地点 A
0°
赤みの橙
とても
小さい
なし
あり
団を生成する．ここまでがメインのループを開始
1
直線
地点い
地点 B
15°
黄みの橙
小さい
あり
なし
させるための準備である．
2
三角形
地点う
地点 C
30°
黄
少し
小さい
次にシステムの持つデザイン知識により個体
3
四角形
地点え
地点 D
45°
黄緑
少し
大きい
の評価を行い，評価の高い個体を数個，ランダム
4
五角形
地点お
地点 E
60°
緑
大きい
に選択した個体を数個として，計 10 個程度の個
5
75°
青緑
とても
大きい
体をデザイン案としてユーザーに提示する．ユー
6
90°
緑みの青
ザーが各デザイン案を評価し，その評価をもとに
7
105°
青
8
120°
青紫
9
135°
紫
10
150°
赤紫
11
165°
赤
12
180°
エリート個体の保存，遺伝子の交差，突然変異を
行い，次世代集団を発生させることで世代を入れ
替え，システムの持つデザイン知識による評価に
戻る．
このループを複数回繰り返し，設定した世代数
y 座標
の位置
角度
色
大きさ
反転
表示
に到達するか，ユーザーの満足するデザインが生
成されたところでデザインを画像ファイルとし
て出力し，システムを終了する．
前述のように，提案システムではシステムの候
補の提示の際にデザイン知識による事前評価を
導入する予定である．これは，基本図形のランダ
ムな付加のみによるデザイン案の生成では最適
化にかかる時間が長くなることを想定している
図7
ためである．ある程度装飾デザインとして妥当で
{0,3,2,8,3,2,1,0}の表現型
あるものを優先して提示することで対話にかか
る時間や疲労を短くすることを目指す．
４.２表現型
提案システムにおける IGA の遺伝子の表現型を
表 1 に示す．
例として{0,3,2,8,3,2,1,0}の遺伝子座を持つ遺伝
図8
子の表現型を図 7 に示す．
{0,4,1,10,4,1,1,0}{1,1,4,8,11,2,1,0}
{3,0,3,9,10,1,0,0}の表現型
このような遺伝子により一つの基本図形を表現す
るとして，この遺伝子を複数個まとめたものを一つ
の個体として扱う．例として
{0,4,1,10,4,1,1,0}{1,1,4,8,11,2,1,0}{3,0,3,9,10,1,0,0}
の遺伝子を持つ個体の表現型を図 8 に示す．
実際は図 9 のように、モチーフ画像の背面に、こ
のような表現型の基本図形を重ねることで，図 9 に
示すようなデザイン案が完成する．
図9
29
デザイン案の例
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
５.プロトタイプシステム
は効果的なデザイン生成に向けて設定値を調整
提案手法を一部実装したプロトタイプシステ
する必要がある．その後，被験者実験を行う．
ムを実装した．図 10 にプロトタイプシステムの
現時点ではデザイン知識の組み込みとそれを
UI を示す．
デザインの生成や評価に反映させるアルゴリズ
ムは実装しておらず，ランダムに選択している．
今後，デザイン知識による事前の評価により更に
質の高い装飾デザインが行える可能性がある．
６.おわりに
本稿では，対話型進化計算手法を適用した対話型
デザイン装飾支援システムを提案した．複数の大き
さや形を持った基本図形を入力された図形に付与し，
図 10
元々のモチーフの持つ印象をユーザーの満足するも
プロトタイプシステムの UI
のに変更する．
画面左に 1~10 までナンバリングされているの
プロトタイプシステムを実装し，現時点で様々な
が提示された個体である．選択することで、画面
装飾デザイン画像が生成されることを確認した．対
右のように拡大されたデザインを確認すること
話処理により，満足するような装飾が行える可能性
ができる。ユーザーはここから一番良い個体，二
を示した．
番目に良い個体，三番目に良い個体を決定し，世
今後の研究ではデザイン知識の組み込みとそれを
代交代を行う．
デザインの生成や評価に反映させるアルゴリズムを
現段階でデザイン案の表示と IGA のアルゴリ
完成させる必要がある．
ズムは完成しているため，IGA によるデザインの
また，デザイン案の表現の幅と解の収束性などを
生成は可能になっている．
考慮して，表現型と IGA のパラメータ(突然変異率
表 2 に示す設定値により，設計者が本研究室の
など)の調整を行うことで，作成するデザインの最適
イメージに合う装飾デザインを目標として，候補
化及びシステムの効率化を図っていく予定である．
の評価と選択を繰り返し，装飾デザイン生成を試
みた． 30 世代目にユーザーに選択されたエリー
参考文献
トの例を図 11 に示す．
[1] Muneyuki Unehara, Satoru Murata, Koichi
表2
Yamada,
システムの設定値
Izumi
Suzuki,
“Design
Impression
Adjustment by Extraction and Replacement of
個体数
交差率
突然変
異率
基本図
形の数
交差方式
選択方式
100 個
0.8
0.19
10 個
一様交差
エリート選択
Attractive Colors”, International Symposium on
Affective Science and Engineering 2016 (ISASE
2016), B2-3, 2016
[2] 畦原宗之, 齊藤翠, 山田耕一, 鈴木泉, “対話型進
化計算を用いた複数人の合意形成によるデザイン支
援システム”, 第 18 回日本感性工学会大会予稿集,
A14, 2016
図 11
生成されたエリートデザイン案
連絡先
約 5 分のシステムの使用により，ある程度満足
長岡技術科学大学
畦原
宗之
E-mail : [email protected]
するデザインを獲得できる可能性が示せた．今後
30
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
分散在庫管理ゲームのための一般的フレームワーク
A General Framework for Games of Decentralized Inventory Management
○グェン フォン ホン ハン，山田耕一, 畦原宗之, 鈴木泉
○Hanh Nguyen Phuong Hong, Koichi Yamada, Muneyuki Unehara, Izumi Suzuki
長岡技術学大学
Nagaoka University of Technology
Abstract: This paper consists an analysis which 𝑁 retailers who face stochastic demands, also stock at
local or/and central warehouse. When an unsatisfied demand situation happens, the retailer could use
excess stocks at other retailers or central warehouses. Considering inventory shipping decisions under
effect of quality and transportation choices by players, we develop a sequential competitive framework
for inventory and allocation decisions.
transportation [1]. However, to fully satisfy customer’s
needs, retailer must meet both product quality and
shipment time constrains which are not mentioned in
Anupindi’s paper. Moreover, in decentralized system, the
complexity of players’ behavior under effect of agreement
contract should be highlighted. Hence, normal total
quality control techniques, which attempt to integrate into
management framework, are not suitable.
Motivated by those issues, we have develop a model
carrying the bare bones model from Anupindi paper which
considers the effect of quality and shipment method on
players’ agreement. The model allows multiple retailers to
decide inventory level at local and central warehouse
before their own stochastic demand is realized. This model
includes costs such as purchase, transportation, test lot
cost and etc., which are assumed linear and various from
retailers. After demand is realized, shipping decisions are
made to satisfy various under-demand situations. At this
point, the cooperation between retailers is considered
which involved transportation cost and quality parameters.
Based on the distance or/and the reputation of retailer,
various product defective probability 𝑝𝑛 are assigned for
multiple 𝑛 retailers. The supplier has two shipping
methods which is chosen based on time constrains and
product availability, also unknown for another. After
receiving the lot, receiver has two alternatives about the
inspection; inspect the lot or not.
The proposed general framework consists of two
stages: (a) inventory decision for each retailer before the
real demand is realized, and (b) quality-shipping decision
to satisfy various demand deployment after the real
demand is realized. The inventory is made unilaterally by
retailers. We develop cooperative shipping decision with
mixed quality strategy. Additionally, we develop
conditions for the existence of Nash Minimax Bargaining
Solution in term of shipment method and quality
parameters.
1.
Introduction
Information technology lets us improve companeys’
structure and operation to gain competitive advantages in
the market. Especially, pooling in stock arrangement is
accepted to quickly satisfy all customer constraints in
product delivery. Consider a typical scenario faced by
customer demand seeking to buy a specific new product at
retailer. If the required product or another acceptable one
is not in this location, the retailer may suggest that
customer waits for certain amount of time and pay in
advance and get the product later. Then, where can the
retailer get the product? Consequently, she will use the
information system to check for product availability in
different locations such as other retailers and centralized
distribution centers. If both players including the selling
retailer, who own the sale, and the supplying player, who
own the product, can be accomplished, they can enjoy the
benefit of pooling stocks. Especially, this is well known
when the retailer faces uncertain demand, centralized
stocks help reduce inventory investment and improve
customer service, also competition between retailers.
The usefulness of this arrangement is well recognize
and often mentioned in the literature. For example, Narus
and Anderson (1996) has mentioned a subsidiary of 46
Japan Okuma Corporation distributions in North and
South America as a case study of machine tool builder.
Lee and Wang mentioned another example of products
exchange with competitors in Korea Cement Company
(2001). However, the studies mentioned above were
analyzed single decision maker, in other word, the solution
is central decision making. Maximizing general cross
profit is their objective. However, the multiple players in
the example do have conflicts regarding inventory,
location, transportation, cost competition and etc.
Noticed the important of the cooperative willingness
of various parties in the decentralized system, Anupindi et
al. (2005) focused on the problem of multiple independent
retailers and central warehouse. Each retailer has
individual stochastic demand and must be decided
inventory level before the real demand is realized. After
the demand is known, retailers face one of the three
situations: above demand, meet demand and under
demand. At that time, under-demand retailers might
satisfy their needs exceed stock from other retailers or/and
central warehouses. A two-stage framework was proposed
which includes costs such as purchase, salvage, and
2.
Games of Decentralized Inventory Management
with Pooling
We now consider an inventory system in which
multiple retailers and central warehouses. The retailers are
not in direct competition but are still interested in
minimizing their cost rather than their entire system cost.
Instead of keeping the same objective function like
Anupindi, we change the goal to respect the spirit of global
31
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
After demand is realized, receivers, who is retailers
with shortage in local, need supply from other retailers.
We call those retailers, who can ship the products, are
suppliers.
In this section, only shipping between retailer and
retailer is mentioned because central warehouse doesn’t
have his own stock. As explanation, we required
∑𝑁
𝑛=1 𝑌𝑤,𝑛 = 𝑌𝑤 with 𝑛 ∈ 𝑁, 𝑤 ∈ 𝑊 . It means that
leftovers in central warehouse will be belongs to some
retailers. If stock at central warehouse belongs to receiver,
we assume that quality is fully cooperated and there is
non-payoff on quality except shipping cost. If current
stock belongs to other retailers, receivers also contact
them for cooperation, instead of central warehouse itself.
Because we only consider shipping methods which are
decided by supplier, not the shipping distance; hence the
shipping from central warehouse is the same with shipping
from other supplier himself.
For supplier, he chooses the shipping methods. We
assume there are two alternatives for him to decide,
denoted as 𝑡 = 1, 2 . Each alternative contains two
parameters are defective probabilities, 𝑝𝑡 ; and shipping
cost, 𝑇𝑡 for 𝑡 = 1,2 . Precisely, 𝑝1 corresponds to the
poor quality shipment and 𝑇1 . In contrast, 𝑝2 represents
for good shipment and higher cost 𝑇2 . Hence, for
alternative 𝑖, 𝑛 ∈ 𝑁, 𝑖 ≠ 𝑛, assume that 𝑝1,𝑖,𝑛 > 𝑝2,𝑖,𝑛
and 𝑇1,𝑖,𝑛 < 𝑇2,𝑖,𝑛 where retailer 𝑛 receives product
from retailer 𝑖 . Additionally, retailer 𝑖 will sale unit at
price 𝜋𝑖 for 𝑖 ∈ (1,2, … , |𝑁|), where |𝑁| is the number of
retailer.
When a retailer receives necessary products, he can
choose an option to test the product or not. If the products
are tested, the testing cost is 𝑚 per unit and the result is
observed. If the product is defective, supplier repairs cost
is 𝐶 and unit price is reduce by ∆𝜋 ≥ 0. This unit price
will be a gain for receiver, hence his cost will be [−∆𝜋].
In general, testing option for alternative 𝑖, 𝑛 ∈ 𝑁, 𝑖 ≠ 𝑛,
receiver 𝑛 will pay testing cost 𝑚𝑛 . If product is defected,
receiver 𝑛 cost is [−∆𝜋𝑖,𝑛 ] and supplier 𝑖 costs 𝐶𝑖 +
∆𝜋𝑖,𝑛 , which is total of repair cost of retailer 𝑖 and
reduced price per defected unit.
On the other hand, if the product is defected without
testing, the cost is shared between supplier and receiver,
which is ruled by agreed shared probability 𝛼 and aftersale payoff cost 𝑅. For instant, (1 − 𝛼)𝑅 will be paid by
receiver and 𝛼𝑅 for supplier. Hence, when the retailer 𝑛
receives product from retailer 𝑖, their shared cost is under
effect of probability 𝛼𝑖,𝑛 and payoff 𝑅𝑛 . Precisely, the
costs are (1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 and 𝛼𝑖,𝑛 𝑅𝑛 for receiver 𝑛 and
supplier 𝑖 respectively. We also assume that 𝐶𝑖 +
∆𝜋𝑖,𝑛 > 𝛼𝑖,𝑛 𝑅𝑛 as the quality assurance for cooperation,
which implies that cost for supplier 𝑖 when a defect is
tested, is larger than cost of defective product after sale.
In 𝑛 retailers problem, for bi-matrix game (A,B)
especially for retailer 𝑖 as supplier and retailer 𝑛 as
receiver, assume that 𝐶𝑖 + ∆𝜋𝑖,𝑛 > 𝛼𝑖,𝑛 𝑅𝑛 for any given
set of 𝑖, 𝑛 ∈ 𝑁, 𝑖 ≠ 𝑛.
By observing, we have general cost formula for each
defected product of receiver is [(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 − ∆𝜋𝑖,𝑛 ]
following binary game for testing decision. We denote
optimization for cooperate social responsibility.
We assume that before the real demand is realized,
each retailer has chosen a finite inventory level, includes
stock at local and central warehouses. It is privately
informed to other stock holders in their individual supply
chain. Then, the central warehouse has announced their
allocation mechanism if total stock of retailers is exceed
her capacity. This is privately informed for partner
supplier by central warehouse. After real demand is
known, the following sequence of events occurs: (1) each
retailer learns his private information about demand; (2)
the ability for satisfying the real demand is revealed. At
that time, the retailer that out of stock at local, also at other
warehouses, contacts other retailers for sharing stock by
information system to know their shipping ability. After
that, he will check the quality cooperation ability of
respective locations to make shipping decision. In
Anupindi’s paper, the fraction of customers at retailer, who
accept service out of location, is used. However, it is not
widely used because customers normally don’t be noticed
the by closed supply chain. By using quality parameters,
the game between players is well simulated, also the effect
of pooling stock is emphasized.
Even though, the cooperation of sharing stocks
increases the entire size of the pie, each retailer must
protect his piece and obviously conflicts and/or
competitive with others. Discussing those tensions, we
propose an approach for the unilateral and bargaining
situation. The following decision-making framework
needs to be done:
⃗ is
1) Inventory Decision: Before the demand 𝐷
realized, each retailer 𝑛 ∈ 𝑁 determines his local
inventory and common stock level at the various
central warehouses 𝑤 ∈ 𝑊.
 Claims that ownership and inventory locations
can be separated. Especially, we assume that the
inventory arrangement at central warehouses
must be achieved among the retailers.
 Let local inventory and stock level at warehouses
𝑤 ∈ 𝑊 by retailer 𝑛 ∈ 𝑁 denoted by 𝑋𝑛 and
𝑌𝑤,𝑛 respectively. We requires ∑𝑁
𝑛=1 𝑌𝑤,𝑛 = 𝑌𝑤
with 𝑛 ∈ 𝑁, 𝑤 ∈ 𝑊.
 Each agent (retailer) 𝑛 ∈ 𝑁 has individual
inventory distribution ⃗⃗⃗⃗
𝑍𝑛 = (𝑋𝑛 , 𝑌1,𝑛 , … , 𝑌|𝑊|,𝑛 ),
where |𝑊| is the number of warehouses.
2) Quality-shipping decision: If the retailer lacks of
stock after the demand is realized, it needs to make
the following decisions:
(a) Checking the distribution of stock availability at
the respective locations,
(b) Calculating allocation of competitive payoff for
each alternative by cooperative quality
parameters, and
(c) Choosing supplier by making shipping decision.
In spirit of backward induction, analyses will be
presented in reverse order, starting with the cooperative
quality-shipping decision.
2.1. Cooperative Quality-Shipping Decision
2.1.1.Cooperative Quality Parameters
32
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
𝜇𝑛 = 𝑝1,𝑖,𝑛 [(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 − ∆𝜋𝑖,𝑛 ] is general cost
formula for receiver when product is shipped by poor
shipment. Additionally,
𝜈𝑛 = 𝑝2,𝑖,𝑛 [(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 −
∆𝜋𝑖,𝑛 ] denotes general cost formula for receiver when
good shipment is used and 𝜇𝑛 > 𝜈𝑛 for all 𝑛 ∈ 𝑁.Also,
let ∆𝑝𝑖,𝑛 = 𝑝1,𝑖,𝑛 − 𝑝2,𝑖,𝑛 and ∆𝑇𝑖,𝑛 = 𝑇2,𝑖,𝑛 − 𝑇1,𝑖,𝑛 for
any 𝑖, 𝑛 ∈ 𝑁, 𝑖 ≠ 𝑛, then ∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 is general supplier
cost for any defected unit is shipped.
Each retailer will compare the payoff for cooperation to
make decision. To be precise, receiver will compare
general cost of defected product with product testing cost
to choose whether test or not test the product. Her
alternatives are 𝑚𝑛 < 𝜈𝑛 , 𝜈𝑛 ≤ 𝑚𝑛 < 𝜇𝑛 and 𝑚𝑛 > 𝜇𝑛 .
On the other hand, supplier also compare between general
shipping cost of each defect unit and cost for each as their
penalty. His three options are defined as
∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 𝛼𝑖,𝑛 𝑅𝑛 , 𝛼𝑖,𝑛 𝑅𝑛 < ∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 < 𝐶𝑖 + ∆𝜋𝑖,𝑛
and ∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 > 𝐶𝑖 + ∆𝜋𝑖,𝑛 .
In 𝑛 retailers’ problem, for the bi-matrix game set
of 𝑖, 𝑛 ∈ 𝑁, 𝑖 ≠ 𝑛, especially for supplier 𝑖 and receiver n,
we have Nash equilibrium as Table 1 below.
𝑣𝑖 = 𝑣𝑖∗ =
∆𝑇𝑖,𝑛
)
∆𝑝𝑖,𝑛
2[(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 − ∆𝜋𝑖,𝑛 ]
+
𝑇2,𝑖,𝑛 𝑝1,𝑖,𝑛 − 𝑇1,𝑖,𝑛 𝑝2,𝑖,𝑛
∆𝑝𝑖,𝑛
2) Otherwise:
𝑢𝑛 = 𝑢𝑛0 =
𝑣𝑖 = 𝑣𝑖0 =
𝑚𝑛 𝑅𝑛 (1 − 𝛼𝑖,𝑛 )
[(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 − ∆𝜋𝑖,𝑛 ]
𝑇2,𝑖,𝑛 𝑝1,𝑖,𝑛 − 𝑇1,𝑖,𝑛 𝑝2,𝑖,𝑛
∆𝑝𝑖,𝑛
Then by using the proved solution that satisfies axioms by
Nash (1950), which is 𝑀𝑎𝑥((𝑢(𝑥) − 𝑢(𝑑))(𝑣(𝑥) −
𝑥(𝑑))), the value of cooperation between two players are
given by:
1) For 𝑚𝑛 ≥ 2𝜈𝑛 :
Table 1: Type of Nash Equilibrium (NE) in Quality game
Supplier
Receiver
∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 < 𝛼𝑖,𝑛 𝑅𝑛
𝛼𝑖,𝑛 𝑅𝑛 < ∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛
< 𝐶𝑖 + ∆𝜋𝑖,𝑛
∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 > 𝐶𝑖 + ∆𝜋𝑖,𝑛
𝑚𝑛 (𝛼𝑖,𝑛 𝑅𝑛 −
∆𝑢𝑛 = 𝑚𝑎𝑥|𝑢𝑛 − 𝑢𝑛∗ | =
𝑚𝑛 < 𝜈𝑛
𝜈𝑛 ≤ 𝑚𝑛 < 𝜇𝑛 𝑚𝑛 > 𝜇𝑛
High quality, No inspection
High
quality,
Low
Mixed, mixed
Inspection
Quality,
Inspection
Low quality, Inspection
𝑚𝑛 𝑅𝑛 (1−𝛼𝑖,𝑛 )
2[(1−𝛼𝑖,𝑛 ) 𝑅𝑛 −∆𝜋𝑖,𝑛]
∆𝑇𝑖,𝑛
∆𝑣𝑖 = 𝑚𝑎𝑥|𝑣𝑖 − 𝑣𝑖∗ | =
𝑚𝑛 (∆𝑝
𝑖,𝑛
(1)
−𝛼𝑖,𝑛𝑅𝑛 )
2[(1−𝛼𝑖,𝑛) 𝑅𝑛 −∆𝜋𝑖,𝑛 ]
(2)
2) Otherwise:
However, in most industrial problem, mixed situation
is happened because suppliers are lead to cooperation by
mutual interests. Unlike non-cooperative which is easily
see the decision based on Table 1, we focus cooperative
game with Nash Minimax Bargaining solution concept in
term of payoff is player cost. Additionally, variable 𝜋𝑖
will be eliminated in proposition equation because it is
constant and is gain and payoff for players at the same time.
∆𝑢𝑛 = 𝑚𝑎𝑥|𝑢𝑛 − 𝑢𝑛0 | =
[(1−𝛼𝑖,𝑛) 𝑅𝑛 −∆𝜋𝑖,𝑛 ]
∆𝑣𝑖 = 𝑚𝑎𝑥|𝑣𝑖 − 𝑣𝑖0 | = 𝑝2,𝑖,𝑛 (
𝛥𝑇𝑖,𝑛
∆𝑝𝑖,𝑛
(3)
− 𝛼𝑖,𝑛 𝑅𝑛 ) (4)
Hence, both players have a motivation to cooperate
which will be used as important parameters in next
subsection, a cooperative-competitive shipping decision.
PROSOSITION 1: Consider the bi-matrix game (A,B)
respectively for retailer 𝑖 as supplier and retailer 𝑛 as
receiver, where 𝛼𝑖,𝑛 𝑅𝑛 < ∆𝑇𝑖,𝑛 ⁄∆𝑝𝑖,𝑛 < 𝐶𝑖 + ∆𝜋𝑖,𝑛 and
𝜈𝑛 ≤ 𝑚𝑛 < 𝜇𝑛 .
And define
𝑢𝑛 = 𝑝2,𝑖,𝑛 𝑅𝑛 (1 − 𝛼𝑖,𝑛 )
𝑣𝑖 = 𝑅𝑛 𝛼𝑖,𝑛 𝑝2,𝑖,𝑛 + 𝑇2,𝑖,𝑛
as payoff of receiver 𝑛 and supplier 𝑖 respectively when
product is shipped by good shipment and not tested(𝑖, 𝑛 ∈
𝑁, 𝑖 ≠ 𝑛).
2.1.2. Cooperative-Competitive Shipping Decision
By the time we reach this stage, each retailer has
realized his real demand. Also, the entire stock and his
pooled inventory were claimed in advance. At this stage,
only the agreement on shipping pattern to meet the
residual demand is considered, and minimize the excess
cost. Naturally, each is interested in allocation which is
minimize his lost.
While it is possible to theorize and model the
accurateness and complication of negotiation and
bargaining process, which is ultimately leads by
agreement contract between players, the model are quite
incurable and the results are usually sensitive. However,
we try to include such detailed analysis by balancing
between reasonable properties of final outcomes and
bargaining parameters to get better descriptive decision.
⃗⃗⃗⃗1 , ⃗⃗⃗⃗
Let [𝑍] = (𝑍
𝑍2 , … , ⃗⃗⃗⃗
𝑍𝑛 ) for all𝑛 ∈ 𝑁, denote the
inventory of all players where inventory position of player
𝑛 is ⃗⃗⃗⃗
𝑍𝑛 = (𝑋𝑛 , 𝑌1,𝑛 , 𝑌2,𝑛 , … , 𝑌|𝑊|,𝑛 ) . For each coalition
1) For 𝑚𝑛 ≥ 2𝜈𝑛 :
𝑢𝑛 = 𝑢𝑛∗ =
(𝑚𝑛 −𝜈𝑛) (1−𝛼𝑖,𝑛)𝑅𝑛
𝑚𝑛 𝑅𝑛 (1 − 𝛼𝑖,𝑛 )
2[(1 − 𝛼𝑖,𝑛 ) 𝑅𝑛 − ∆𝜋𝑖,𝑛 ]
33
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
⃗ ) is minimum excess cost of each
𝑆 ⊆ 𝑁, let 𝐸𝑆∗ ([𝑍], 𝐷
members of 𝑆 when pooling could be achieved
⃗ shipping pattern. Then,
with 𝑄
In this situation, the retailer is not only consider his
own capacity choice but also involves into in the problem
could share their inventory with others in central
warehouse. For general warehouse sharing games with
cooperation, players will cooperate and bargaining in
order to optimize whole system efficiency, besides
promotion should be counted. In our research, discount or
special agreement between retailers and central warehouse
are not included, also, assume that is conducted before by
business contract and represented by the used cost in
model. Additionally, instead of focusing on system-wide
benefit, his decision objective is minimize his own cost,
which depends on local and claimed inventory. It means
there is no conflict if a retailer belongs to different
distribution system.
Anupindi has defined an Allocation Rule m (AR-m)
as a mapping that specifies surplus allocation (𝛼 𝑚 ) for
⃗ ). Clearly, it is generated from the
each possible ([𝑍], 𝐷
⃗ for all 𝑆 ⊆ 𝑁 by Equation (5).By
shipping decision 𝑄
using given AR-m, we denote total loss of retailer 𝑛
⃗
as 𝐿𝑚
𝑛 ([𝑍], 𝐷 ).
⃗ ) = min [ ∑ (∆𝑢𝑛 + ∆𝑣𝑖 ± 𝜋𝑖 )𝑞𝑖,𝑛
𝐸𝑆∗ ([𝑍], 𝐷
⃗
𝑄
𝑖,𝑛∈𝑆,𝑖≠𝑛
+ ∑ 𝑡𝑗,𝑛 𝑞𝑗,𝑛 ]
𝑗∈𝑆∪𝑊
(5)
Subject to:
∑𝑛∈𝑆 𝑞𝑖,𝑛 ≤ min(𝐻𝑖 , 𝑈𝑛 ) ∀𝑖 ∈ 𝑁
(5a)
∑𝑛∈𝑆 𝑞𝑗,𝑛 ≤ ∑𝑛∈𝑆 𝑌𝑗,𝑛
∀𝑗 ∈ 𝑁
(5b)
where 𝐻𝑖 is leftover at retailer i and 𝑈𝑛 is lacking
unit at receiver n, also shipping quantity from other retailer
𝑞𝑖,𝑛 and transfer unit from central warehouses 𝑞𝑖,𝑛 is
always greater than or equal 0 for all 𝑛 ∈ 𝑁. Also, 𝑡𝑗,𝑛 is
shipping cost from warehouse to retailer. Additionally,
∆𝑢𝑛 + ∆𝑣𝑖 ± 𝜋𝑖
∆𝑢 + 𝜋𝑖
={ 𝑛
∆𝑣𝑖 − 𝜋𝑖
𝑊
⃗
𝐿𝑚
𝑛 ([𝑍], 𝐷 ) = 𝑐𝑛 𝑋𝑛 + 𝑠𝑛 𝐻𝑛 + ∑
𝑤=1
∀𝑖, 𝑛 ∈ 𝑆, 𝑖 ≠ 𝑛, 𝑈𝑛 > 0
∀ 𝑖 ∈ 𝑆, 𝐻𝑖 > 0
where 𝑐𝑛 and 𝑐𝑤 are inventory cost at local and
central warehouse for retailer 𝑛 respectively. Also, 𝑠𝑛 is
product salvage value; 𝑋𝑛 is local stock of retailer 𝑛.
Let 𝐽𝑛𝑚 ([𝑍]) is expected payoff of player 𝑛 , then
Fudenberg and Tirole showed that 𝐽𝑛𝑚 ([𝑍]) is
⃗⃗⃗⃗
simultaneously continuous and unimodal in⃗⃗⃗⃗⃗
𝑍𝑛 for every
[𝑍] (1991). However, sometimes, expected payoff
⃗
function 𝐽𝑛𝑚 ([𝑍]) is harder to check than 𝐿𝑚
𝑛 ([𝑍], 𝐷 ) .
Hence, to make ensure the pure strategy NE, we use
proved proposition from Basar and Jan Olsder (1995). It is
⃗⃗⃗⃗⃗
⃗
⃗⃗⃗⃗
showed that if 𝐿𝑚
𝑛 ([𝑍], 𝐷 ) is unimodal in 𝑍𝑛 for
every [𝑍], and the demand distribution function is Poyla
⃗⃗⃗⃗
frequency Function, then 𝐽𝑛𝑚 ([𝑍]) is unimodal ⃗⃗⃗⃗⃗
𝑍𝑛 for
every [𝑍].
⃗ ) denotes for the allocation cost to
Let 𝜃𝑖 ([𝑍], 𝐷
retailer 𝑖. We assume that player 𝑖 loss at least as much
when individual acting is generated. Also, we require that
dealer must generate the optimal solution for whole
system which is enable to implement and no confliction
happens. Hence, the core is induced as below set of
inequalities:
⃗ ) ≥ 𝐸𝑆∗ ([𝑍], 𝐷
⃗)
∑𝑖∈𝑆 𝜃𝑖 ([𝑍], 𝐷
∀𝑆 ⊆ 𝑁 (6a)
∗
⃗
⃗)
∑𝑗∈𝑊 𝜃𝑗 ([𝑍], 𝐷 ) ≥ 𝐸𝑁 ([𝑍], 𝐷
∀𝑆 ⊆ 𝑁 (6b)
To avoid the enumerate cost to the “wrong” agents,
our main theorem based on the relation between the core
and the dual allocation (Samet and Zemel, 1984).
⃗ ) is the core of
Additionally, we use 𝑆𝐴𝐺([𝑍], 𝐷
allocation game where the optimal solution value is
delivered by optimizing shipping cost reduction of
stochastic demand.
2.3. First-Best Solution
From Anupindi (2001), we know that first-best
solution is always exist whenever an allocation rule is in
⃗ ) that corresponds Nash Equilibrium
the core 𝑆𝐴𝐺([𝑍], 𝐷
inventory decision in centralized system. Then, how about
its present in decentralized inventory system? Can players
achieve the first-best solution?
In their paper, they divided the proving method into
two steps. First, they showed the existence of allocation
rule to achieve first-best solution. After that, the side
payment is mentioned and always exists when players
cooperate. However, in our paper, the side payment is
mentioned and calculate in quality parameter. Precisely,
beside shipping cost, that is reason for player side loss
when shipment is required. By bargaining with others,
each player have to expect the loss. Also, with agreement
contract, that is accepted and force players to cooperate
when allocation rule is exist. Hence, only its existence in
the shipping decision is proved in our model with
following result from Anupindi, allocation rule AR-f.
THEOREM 1. If all inventory is claimed, the
⃗ ) is nonempty. Exclusively, the dual
core 𝑆𝐴𝐺([𝑍], 𝐷
additional payoff of shipping decision in Equation (5) for
coalition 𝑆 ⊆ 𝑁 is an allocation in core of
⃗ ).Then,
𝑆𝐴𝐺([𝑍], 𝐷
⃗ ) = (∆𝑣𝑛 − 𝜋𝑛 )𝐻𝑛 + ∑ 𝜑𝑛 𝑌𝑤,𝑛
𝜃𝑛 ([𝑍], 𝐷
𝑤∈𝑊
+ (∆𝑢𝑛 +𝜋𝑛 )𝑈𝑛 ;
𝑐𝑤 𝑌𝑤,𝑛
∀𝑛 ∈ 𝑁
where 𝜑𝑛 is the price associated with the constraints (5b).
If 𝐻𝑛 > 0, then ∆𝑣𝑛 is the result from equation (2) or
(4). Also, if 𝑈𝑛 > 0, then ∆𝑢𝑛 is the result from
equation (1) or (3).
2.2. Inventory Decision
34
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
THEOREM 2. Let 𝛾𝑛 ∈ (0,1) be a constant such
that ∑𝑁
𝑛=1 𝛾𝑛 = 1. Consider a fractional allocation rule
(denoted by AR-f) with the following allocation policy:
𝑓
⃗ ) = 𝛾𝑛 𝐿𝑐𝑁 ([𝑍], 𝐷
⃗ ) − 𝑐𝑛 𝑋𝑛 − 𝑠𝑛 𝐻𝑛
𝜃𝑛 ([𝑍], 𝐷
𝑊
−∑
𝑤=1
3.
Conclusion
In summary, we proposed a framework to deal with
decentralized inventory management problems. Within
the “bare bone” model that consists of retailer who own
local stock also in sharing inventory at central warehouse.
Facing a stochastic demand function, each retailer is an
independent cost-minimizing entity who need to make
sequential decisions under contract agreement effect.
Hence, the two-step solution is proposed. Firstly, each
retailer need to minimize their own inventory cost at local
and sharing positions before demand is realized. Secondly,
after they know their needs, the stock information is
shared among retailer in the same distribution system for
excess and lacking demand, then they make allocation
decision. In this step, we have restricted our attention to
inspection or not scheme. However, unlike classical
approach, mixture of inspection procedure is mentioned,
which under the control of agreement contract among
players. Finally, we using the economic concept, first-best
solution, as our final result.
To simulate the “most real” industry problem, we not
only concerned about cost but also the product quality
which makes one of the biggest conflict in business and
engineering involves. Additionally, in the spirit of society
responsibility, our objective is minimize the retailer
individual cost. Also, in “big data” situation, global
optimization method, for example branch and bound
algorithm, can be used to after quality-shipping parameter
to reduce problem size.
Finally, full information sharing between players is
assumed, however, whether retailer will reveal their true
needs should be concerned in further study. Also, the
business contract between players should be consisted to
find the optimize solution for agreement transfer cost.
⃗)
𝑐𝑤 𝑌𝑤,𝑛 + 𝐸𝑆∗ ([𝑍], 𝐷
⃗ ) is the rewrite of ∑𝑛∈𝑁 𝐿𝑚
⃗
where 𝐿𝑐𝑁 ([𝑍], 𝐷
𝑛 ([𝑍], 𝐷 )
𝑓
⃗)
after all pooled inventory is claimed. Then 𝛼𝑛 ([𝑍], 𝐷
induces the same equilibrium inventory levels as the first
best.
Also, the uniqueness of pooled solution is claimed by
the unique of cost price and each player inventory at local
and central warehouse which assume that non-degeneracy.
But it is ideal environment we can hope for, because when
transfer product in our model, retailer rather satisfies his
own demand first than whole-system requirement, the
centralized cost function will be concave.
2.4. Numerical Example
Consider a duopoly system with following problem:
𝑇1,𝑖,𝑛 = 4.75, 𝑇2,𝑖,𝑛 = 5, 𝑝1,𝑖,𝑛 = 0.15, 𝑝2,𝑖,𝑛 = 0.05, 𝜋𝑛 =
7, 𝑚𝑛 = 0.5, 𝐶𝑛 = 2, ∆𝜋𝑖,𝑛 = 1, 𝛼𝑖,𝑛 = 0.3, 𝑅𝑛 = 7.5,
⃗= 0
𝑠𝑛 = 1, and 𝑐𝑛 = 3. There is no central warehouse, 𝑌
an each retailer faces uniform distribution demand
between [0,100]. Then, the local inventory is 𝑋 = (77,
63).
First, we consider each player quality payoff if they
cooperate. In this case, 2𝜈𝑛 = 0.425 for all retailer, which
is smaller than 𝑚𝑛 , hence equation (1) and (2) will be used.
 Shipping from retailer 2 to retailer 1:
∆𝑢1 = 0.3; ∆𝑣2 = 0.0147
 Shipping from retailer 1 to retailer 2:
∆𝑢2 = 0.3; ∆𝑣1 = 0.0147
The dual prices are mentioned in Table 2 below,
where the excess stock and demand of retailers are defined
as:
𝐻1 = max(77 − 𝐷1 , 0)
𝑈1 = max(𝐷1 − 77,0)
𝐻2 = max(63 − 𝐷2 , 0) 𝑈2 = max(𝐷2 − 63,0)
4.
Table 2: Dual Prices for Quality-Shipping Problem
∆𝑢𝑛 + ∆𝑣𝑖 ± 𝜋𝑖
Scenario
Event
n=1 i=1 n=2 i=2
𝑅1
0 < 𝐻1 < 𝑈2
0
-6.9
7.3
0
𝑅2
0 < 𝑈2 < 𝐻1
0
-6.9
7.3
0
𝑅3
0 < 𝐻2 < 𝑈1
7.3
0
0
-6.9
𝑅4
0 < 𝑈1 < 𝐻2
7.3
0
0
-6.9
Let 𝛾𝑛 = 0.5. Following the allocation rule AR-f, we
have the total payoff of each player when they are
cooperate in Table 3 below.
Scenario
𝑅1
𝑅2
𝑅3
𝑅4
References
1. Juan Aparicio, Joanquin Sanchez-Soriano, Natividad
Llorca, Julia Sancho and Sergio Valero (2010),
Cooperative Logistic Game. Game Theory, Qiming
Huang(Ed.), InTech, DOI.
2. Morris a. Cohen, Seungjin Wang (1997), Competing
in Product and Service: A Product Life-cycle Model.
Management Science, Vol 43, No 4.
3. Diane J. Reyniers, Charles S. Tapiero (1995), The
delivery and Control of Quality in Supplier-Producer
Contracts. Management Science, Vol 41, No 10.
4. Ravi Anupindi, Yehuda Bassok, Eitan Zemel (2001),
A General Framework for the Study of Decentralized
Distribution System. Management and Service
Operations Management, Vol 3, No 4.
連絡先
Ms. Hanh Nguyen Phuong Hong
E-mail: [email protected]
Table 3: Cooperation payoff of players
𝑓
𝑓
⃗)
⃗)
𝜃1 ([𝑍], 𝐷
𝜃2 ([𝑍], 𝐷
7.4𝐷1 − 590.8
621.1 − 7.8𝐷1
375.2 + 0.5𝐷1 − 6.9𝐷2 375.2 + 0.5𝐷1 − 6.9𝐷2
470 − 7.8𝐷2
7.4𝐷2 − 445.2
7.3𝐷1 − 0.5𝐷2 + 557.6
520 − 6.9𝐷1 − 1.5𝐷2
35
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Clustering Twitter Users Based on
Interests Derived from Their Retweets
Suppassara Kijsupapaisan
Koichi Yamada
Muneyuki Unehara
Nagaoka University of Technology
Kamitomioka Nagaoka, Niigata, Japan
for utilization. Moreover, [4] shows that users tweeting
behavior are always changing. They found that before retweet
function was available in 2009, when user wanted to retweet
post, user manually copied the tweet text and added “RT
@user_screenname” at the beginning to indicate post as retweet.
At that time, the percentage of manual retweet is lower than the
percentage of replied. After native retweet function is available,
the percentage of retweet post rapidly increased until became
larger than the percentage of replies and tends to continue
increasing. Moreover, some user seems to prefer retweet than
creating original tweet. In such case, extracting information of
user only from their original tweet would be insufficient.
Therefore, the idea of using retweet as the data source was
considered.
Recent works on twitter user’s topic of interest, P.
Kapanipathi et al. [3] proposed method to identify user interest
by extracting named entity from tweet text and retrieving the
category of those extracted word from Wikipedia. The
drawback of this approach is that the category which appears on
Wikipedia page could be defined by whoever created or edited
the page. Thus, the reliability of data source is still being a
problem. The work [2] proposed method to find user
communities by using following links of celebrities. They
supposed that a group of people with same interests is gathering
within a large society. Then, they proposed a method to detect
communities with common interests. Their method aimed to get
more cohesive user that share a common interest. The
measurement of interest was based on the number of celebrities
in an interest category that user follows. The idea of using
celebrities as the interest category identifier was applied to our
research. Beside, work [5] also used the propagation of retweet
in twitter to finding community.
Abstract—we propose a new approach to cluster twitter users
based on categories of interest, which are captured from their
retweets. A user's attribute is represented by a vector composed of
the retweet frequencies in each category. The category of retweets
is considered and inherits from hub users who originally post the
tweet. The hub user category is defined in advance from the past
tweets and the user profile. We apply two clustering techniques
and random clustering to evaluate clusters and to compare
between techniques. We evaluate the clustering results though
similarities between users in the same clusters, where the
similarity is calculated from user hashtags usage. As the results,
the proposed approach showed the potential for twitter user
clustering.
Keywords: Twitter; Users clustering; Users similarity
I.
Izumi Suzuki
INTRODUCTION
Twitter is a web service which has over 100 million users
and 200 million messages are posted and shared everyday.
Many digital contents companies using twitter to connect with
people in order to show their opinions to audience. Challenge of
twitter is a limitation of text length that users have to shorten
their message within 140 characters. In consequence, there is
hard to extract information of user only from their tweet text
due to the content shortness. Twitter provides three functions
that allow users to reply, quote and retweet. The reply function
is a function for responding tweets conversation. The retweet
function is regarded as the way to propagate messages
throughout users without follower-following relation.
In this paper, we focus on the retweet mechanism. We
suppose that users retweet to share their interests on timeline.
Thus, the retweets show the user interest and can be used for
clustering users based on their interest.
The rest of this paper is organized as follows. In section II,
we present some of related work in twitter analysis. In section
III, we describe how retweet is important and the benefit from
using retweets. Next, we describe our data collection and
applied method. In section V, we describe the steps of our
proposed method to discover common interest clusters. Then,
we present the cluster evaluation result, feature and technique
for proving the potential of assumption. Finally, we present the
discussion about the result and further idea that could be applied
in future works.
II.
RELATED WORK
The question about user retweeting behavior was issued in
[1]. This work examines a practice of retweeting as the way to
be in conversation and the user aspect on retweeting was
collected from a series of questions on @zephoria’s twitter
account. The result shows that there are several reasons such as
to inform information, to agree with the content or to validate
other’s thoughts. Furthermore, Nagarajan et al. [6] and Welch et
al. [8] also investigated and gave a qualitative examination
about retweet and concluded that the retweet has the potential
Figure 1 the model of relation between the usual user and hub user and links is
represented the retweet action.
III.
RETWEETS
Retweet is one of functions that users post tweets which
belong to other users. There are two types of retweet: normal
retweet and quoted. The first type is retweeting without adding
any comments, while the quoted is including user’s comment.
Users whose tweet always got retweeted by a large number of
users would be defined as hub user. Most of hub users are media
36
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
content providers, celebrities or organizations, but in our case,
hub user can be anyone if he/she got a large number of retweets.
Using retweet has various potentials;
1)
Discovery of active users: Collecting user who
retweet trending tweet is a good way to collect active user.
Users who are retweeting often seem to interest in other’s tweet
and try to spread it to their audiences. In our research, we used
this method to collect user.
2)
Hub user filtering: Hub user should be user who got
retweeted from many user. The number of retweeted users can
represent the public acceptance of hub user. Generally, hub
users can be defined into the category by defining from the
content that they usually spread.
3)
Same interest user group: Users retweet because they
want to spread that content to others or they agree with it. These
means the hub user can be used as the center of community that
usual users who has same interest will interact with this hub
user.
According to these reasons, we decided to utilize retweet
and considered retweet are more valuable than normal tweet.
V.
IMPLEMENTATION
A. Hub user category Identify
In order to identify hub user category, we considered the
content that users usually post on their pages and the description
on their profiles. The accuracy of category is important for
clustering step, and then we decided to apply Latent Dirichlet
allocation (LDA) [7] on user tweet. We used LDA technique as
an assistant to summarize the topics of overall tweets by using
each tweet which was get rid of stopping word, twitter’s feature
tag and emoticons as a document. LDA is an unsupervised
learning technique to identify latent topics from a large
document collection. The results show that the topics and words,
which were leveraged from the collection, help us defining a
category to hub user easier. Not only consider the sharing
content, we also think about the description from user profile
and URLs.
A set of categories was originated from taxonomy used by
AlchemyAPI service1, which provide the text analysis service
and in taxonomy recognition is analyzing and classifying text
into category.
IV. DATA COLLECTION
Twitter data was collected by using REST API, the API
service provides programmatic access to Twitter data. The
collecting process started from tweet searching in topic of
american election with popular hashtag such as #trump,
#nevertrump, #Imwither during March to June 2016. We
focused on hub user who was retweeted by large number of
users, and active users, the user who still using twitter. We
collected the users who retweets hub user post (figure 2).
After collecting the user, we further collected user’s recent
tweets. According to API limitations, the service can retrieve
only 3000 recent tweets including reply, quote, and retweet
posts in one user. Then, the collection consists by tweet data
and user profile data.
B. User’s topic of interest category Identify
After the hub user categories are defined, each retweet in
data set is categorized by the hub user who owns it. Then, we
calculate the retweeting frequency in each category of one user.
The retweeting frequency is normalized by using boundary
value of frequency of retweet in each category. We normalized
the frequency due to users retweet in some category generally,
for example news or the trending topic. From this normalization
step, we can know the user interest, when the normalized value
is above 0.5 that means the user seems interest in the category.
𝑋′ =
𝑋 − 𝑋𝑚𝑖𝑛
𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛
Where 𝑋′ is a normalized frequency, 𝑋 is the original
frequency, 𝑋𝑚𝑖𝑛 is the lowest frequency in category, and
𝑋𝑚𝑎𝑥 is the highest frequency.
Figure 2 the diagram depicted collecting twitter data process
Within the data collection, there are 3 million tweets from
1355 users, 15% of total tweets are original posts of users, 68%
is retweet posts and the remaining are quotes and reply posts.
We selected the 500 users who have the number of retweets
over 35% of all past tweets and the defined category retweets
over 50% of all past retweets for experiment.
Figure 3 the population of node users
1
http://www.alchemyapi.com
37
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
The similarity values range between 0 to 1, when value is 0
means both users has nothing common. The value 1 means both
users are completely same.
For example, given user A and B with hashtag usages
depicted on Figure 4. The similarity between A and B,
calculated using equation 2, is 0.54.
C. User clustering
We clustered user based on their interest category by using
the retweet frequencies in each category as described
previously. Therefore, the feature of instance is including 23
featured. We applied two unsupervised learning techniques:
k-mean clustering technique and hierarchy clustering to divide
all users into clusters. Both clustering technique needs to
determine a number of clusters in advance, therefore we applied
the number of clusters to n = 5, 7, and 10 respectively.
C. Unsupervised technique
In experiment, we applied two clustering technique to
normalized frequency data: k-mean clustering and hierarchy
clustering. The result of similarity within cluster shows that the
k-mean clustering has better similarity values than the hierarchy
clustering when the number of clusters is getting higher.
VI.
RESULT
A. Evaluation feature
For the evaluation clustering result, we considered to
evaluate with the user similarity within a group. According to
the propose concept that retweet has potential of representing
user’s interest, then in cluster of common interests users should
sometime share same topic in such category. Then, we used the
hashtag features for evaluating the similarity and we compare
our users clustering approach with random selection.
Hashtag is the twitter mechanism that is way to join social
trending or conversation. As the result, hashtag reveal what
kind of topic user has joined before, so we used hashtag usage
as one of content feature.
(a) K-mean clustering
Figure 4 the example of hashtag usage vector
𝑠𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦 = 𝑐𝑜𝑠(𝜃) =
∑𝑛𝑖=1 𝐴𝑖 𝐵𝑖
√∑𝑛𝑖=1 𝐴2𝑖 √∑𝑛𝑖=1 𝐵2𝑖
Equation 2 cosine similarity equation
When 𝐴𝑖 and 𝐵𝑖 are member of vector A and B
B. Similarity measurement
Cosine similarity is used to measure the similarity between
two users. Firstly, we randomly select users from each cluster
with defined numbers (10, 20, 30, 40, and 50 respectively) and
the selected users are the cluster representatives. Then, we
calculate the hashtag similarity within the selected users and
average all similarity value with a number of users. The
averaged value presents the similarity value of the cluster. After
that, we average the similarity value of all clusters. This is done
by finding the summation of each cluster’s similarity value
multiplied with its weight (number of selected users in the
cluster). The summation divided by number of total selected
users.
(b) Hierarchy clustering
Figure 5 the similarity for k-mean clustering
and hierarchy clustering
D. Number of clusters
Both k-mean clustering and hierarchy clustering require a
number of clusters before processing that is crucial to find the
best value which suit with data. As mentioned previously, we
performed the clustering with number of cluster n = 5, 7, and 10.
The result depicts in figure 6. From the result, the similarity
value is highest when the number of clusters is 7 and both
techniques have same tendency that similarity value get higher
when number of selected users increasing.
∑𝑛𝑖=1(𝑠𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦 𝑣𝑎𝑙𝑢𝑒𝑖 × | 𝑠𝑒𝑙𝑒𝑐𝑡𝑒𝑑 𝑢𝑠𝑒𝑟𝑠𝑖 |)
∑𝑛𝑖=1| 𝑠𝑒𝑙𝑒𝑐𝑡𝑒𝑑 𝑢𝑠𝑒𝑟𝑠𝑖 |
Equation 3 Average similarity of all clusters equation
38
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
VII.
DISCUSSION
The proposed concept shows that the retweet has potential
to discover group of user who share common interest when
compared with the random selection. However, the categories
of interest need to be deeper when considering in business field.
Therefore, the next step is to go deeper in the category of
interests to discover more specific group of users. Then, the
user should be tracked, and give useful information for
marketing and online advertising. Besides, the cluster
evaluation method should have more features for measuring the
similarity of users within the cluster.
REFERENCES
[1] D. Boyd, S. Golder, and G. Lotan. Tweet, tweet, retweet : Conversational
aspects of retweeting on Twitter. In 43rd Hawaii International Conf. on
System Sciences, page 412, 2008.
[2] K. H. Lim and A. Datta. Finding twitter communities with common interests
using following links of celebrities. In Proceedings of the 3rd international
workshop on Modeling social media, pages 25–32. ACM, 2012.
[3] P. Kapanipathi, P. Jain, C. Venkataramani, and A. Sheth. User Interests
Identification on Twitter Using a Hierarchical Knowledge Base. The
Semantic Web: Trends and Challenges, Volume 8465, pages 99-113, 2014
[4] Y. Liu, C. Kliman-Silver, and A. Mislove. The Tweets They Are
a-Changin’: Evolution of Twitter Users and Behavior. Proceedings of the
Eighth International AAAI Conference on Weblogs and Social Media,
2014.
[5] Y. Ota, K. Maruyama, and M. Terada. Discovery of interesting users in
Twitter by overlapping propagation paths of retweets. Proceeding WI-IAT
'12 Proceedings of the The 2012 IEEE/WIC/ACM International Joint
Conferences on Web Intelligence and Intelligent Agent Technology,
Volume 3, pages 274-279, 2012.
[6] M. Nagarajan, H. Purohit and A. Sheth. A Qualitative Examination of
Topical Tweet and Retweet Practices.In Proceedings of Fourth International
AAAI Conference on Weblogs and Social Media (ICWSM’2010),pages
295–298, 2010.
[7] D. M. Blei, A. Y. Ng and M. I. Jordan. Latent dirichlet allocation. In Journal
of Machine Learning Research,3:993-1022, 2003.
[8] J. Welch, D. He, U. Schonfeld, and J. Cho. Topical Semantics of Twitter
Links. In WSDM’11, 2011
(a) Number of clusters = 5
(b) Number of clusters = 7
(c) Number of clusters = 10
Figure 6 the similarity for different number of sampling users
39
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
色のファジィシステムにおけるあいまいさと可能性について
On Vagueness and Possibility in the Fuzzy Color System
菅野 直敏
Naotoshi Sugano
玉川大学
Tamagawa University
Abstract: The present study considers a fuzzy color system in which three fuzzy sets are constructed on the tone
triangle. This system processes a fuzzy input and outputs a color on the color triangle system. Two fuzzy sets (not black
and white) are applied to the tone triangle relationship. By evaluating the attributes of chromaticness, whiteness, and
blackness on the tone triangle, a target color can be easily obtained as the center of gravity of the resulting fuzzy set.
The output of the system is a tone triangle, which includes a compound vector with three weights (scalars) in color
space. The relationship between a fuzzy input including to a crisp input and the resulting inference output is shown by
the nonlinear characteristic (leaf shape) (primary system). The relationship between the chromaticness of the input and
the redness of the output is shown by the linear characteristic (whole system).
B
(4)
R+G+ B
(5)
r + g +b =1
方向であるから三刺激値の比で示され，式（5）のよ
うに和が 1 となる[5]．
図 2 で赤（red）の成分(R, G, B)は(1, 0, 0)であり，
三角座標(r, g, b)も同じ(1, 0, 0)である．また緑
（green）と青（blue）も成分と座標が同じになる．
たとえば，黄（yellow）の成分(R, G, B)は (1, 1, 0)
であり，カラートライアングル上の三角座標(r, g, b)
は (0.5, 0.5, 0)となる．このように図 2a の色立体上
部表面の色は正三角形 RGB 中に示すことができる．
ここでは，図4bのような色立体中のトーントライ
アングルは同じ色立体中にあるドット部分である．
色相を赤Rとすると図のトライアングルが決まる．
図 1 はトーントライアングルからカラートライア
ングルを経由しトーントライアングルへの写像を示
している．後件部の新しいカラートライアングル上
にファジィ推論の結果を出力するが，さらにトーン
トライアングル（変換部）への変換をすることで新
しい結果を示した．図 1 のトーントライアングル（前
件部）からカラートライアングル（後件部）への推
論は Sugano (2011)で報告した[2]．
図2において主要色としての赤（red），黄（yellow），
緑（green），青緑（cyan），青（blue），赤紫（magenta），
白（white）はR, Y, G, Cy, B, M, Wのように省略する．
図2で赤，緑，青のようなある色相が決まるとトー
ントライアングル上に彩度と明度の関係が決まる．
１. はじめに
b=
本稿では，加法混色を用いた色調（トーン）のト
ライアングル（tone triangle）上でのファジィ表現手
法について報告する．ここではトーントライアング
ル上の三角錐の入力ファジィ集合（前件部）と円錐
形のファジィ入力との関係を調べる[2]．トーントラ
イアングルは明度と彩度の関係を示している[5]．主
要色と白と黒は同じトーントライアングル上に表現
でき，トーントライアングル上のあいまいな色の集
合を明らかにする．このシステムはあいまいな色の
属性情報の近似推論値をトーントライアングル上に
示すことができる（図 1）．入力としてのファジィ集
合の形状の影響について報告する．
２. カラートライアングルと加法混色
加法混色は異なる 2 色あるいは 3 色の光を混ぜる
ときに起こる．赤（red），緑（green），青（blue）の
3 色の加法混色ですべての色彩 C をつくることがで
きる．一般に色ベクトルは三刺激値（R：赤成分，G：
緑成分，B：青成分）と呼ばれる量と方向により次
のように示される．
(1)
このカラートライアングル（図 2a ドット部分）上
の座標(r, g, b)はさまざまな色彩を指定することが
できる．座標により与えられる位置は色をつくる R
（赤成分），G（緑成分），B（青成分）の量に対応し
ている．カラートライアングルの中央を指定する座
標は 3 原色を等量に混合した場合，無彩色を表し，
各成分が最大のときの白（W）になる．これは色相
と彩度で表される[1], [2]．カラートライアングル上
で，R（赤成分），G（緑成分），B（青成分）の比率
が色彩を指定し，3 つの属性の和は 100%に等しい．
ここで，色ベクトルの方向のみを表すために色度 r，
g，b は以下のようになる．
R
(2)
r=
R+G+ B
G
(3)
g=
R+G+ B
C = R+G+ B
Tone
Color
Tone
図 1 色調のファジィシステムの構成
40
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
図3aのように彩度の高い有彩色，クロマ（chroma），
白（white），黒（schwarz）はC, W, Sのように省略す
る．他には灰（gray），暗い(dark)，明るい(light)，
くすんだ（dull）がある．図3aのCはmaximal colorで
ある[1]．
図3bの色名はNo.1: black, No.6: gray, No.11: white,
No.46: dark (or deep), No.51: light (or pale), No.66:
maximal colorである．ここではNo.66はRである．
W
a
R
M
R
(1, 0, 0)
Cy
BB
(0, 0, 1)
Y
Y
(R, G, B)
= (1, 1, 0)
(r, g, b)
= (0.5, 0.5, 0)
G G
(0, 1, 0)
S
(0, 0, 0)
３.色調のファジィシステム
図 4 はファジィシステムを表しており，トーント
ラ イ ア ン グ ル (CWS) の 中 線 に 平 行 な 軸 上 に 色 み
（chromaticness）c，白み（whiteness）w，および黒
み（blackness）s がある．図 4a1 では，黒みが増える
と黒成分の度合い(grade)µj が減少する．これが not
black のファジィ集合を形成する．図 4a2 では，白み
が増すと白成分の度合い µj が増加する．これが white
のファジィ集合を形成する．また，このファジィシ
ステムでは入力ファジィ集合 Aj（前件部），ファジ
ィ入力 In，出力クリスプ集合 Ok（後件部），および
ファジィ出力 O’を示している．
ここでは，図3aはトーントライアングル上の三角
座標(c, w, s)で，c，w，およびsの関係は次のように
なる．
(6)
c+ w+ s =1
図4bは三角座標(ro, go, bo)で，図4cは座標(ro, uko)
で表されている．上段，中段にある入力ファジィ集
合を用いることで，主要色に関係したあいまいさを
推論することができる．色みは彩度（saturation）に
相当する．
ファジィルールは次のように示す．
W
b
M
Y
R
Cy
B
G
S
図 2 カラートライアングルとトーントライアングル
a
W
b
11
21
10
30
.
20
9
38
29
45
19
light
8
7
C
34
32
57
52
46
39
23
3
13
31
22
2
S
47
40
24
66
64
61
53
41
33
15
14
65
62
58
48
25
4
59
54
42
16
63
49
35
26
5
60
.
55
43
27
6
dark
50
36
17
dull
56
44
18
gray
51
37
28
12
1
図3 トーントライアングルの模式図と66色
R k : if U is A j then V is Ok
a1
b1
Whiteness
w
Aj
Ok
ro’
G
O k’
W 0
1
αk
Redness
ro
Unknown
31
G
ro’
R
R 0
V’
c’
s’
21
αk
U’
s
ro
1
w’ In
S
Blackness
c1
Redness
c
bo’
go’
B
go
C
bo
uko
V’
uko’
B
Chromaticness
a2
b2
Whiteness
w
Aj
αk
w’ In
S
Blackness
ro’
G
O k’
1
αk
Redness
ro
Unknown
G
ro’
R
R 0
V’
c’
s’
s
Ok
W 0
U’
c2
Redness
ro
1
c
go
C
bo’
go’
B
bo
uko
V’
uko’
B
Chromaticness
d
e
W
C
R
(1, 0, 0)
(R, G, B)
Chromaticness
R
R
(1, 0, 0)
C’
BB
f
W
C
R
co
Lightness
W
co’
C’
B
(r, g, b)
(0, 0, 1)
S
(0, 0, 0)
G G
(0, 1, 0)
l
B
(0, 0, 1)
S
(0, 0, 0)
G G
(0, 1, 0)
C
C’
lo’
B
S
図4 トーンのファジィシステム
41
(7)
ここで，k はルール番号(k=1, 2, 3)であり，r, g, b
の各成分に対応している．Aj (j=1, 0)は入力ファジィ
集合（前件部）で，Ok は出力クリスプ集合（後件部）
である．k と j は表 1 のような関係である．U=(c, w, s)
は入力座標，V=(ro, go, bo) は出力座標である．入力
U はトーントライアングル上に，出力 V はカラート
ライアングル上にある．入力ファジィ集合 Aj（前件
部）は頂点 C,W,あるいは S における三角錐の形状で
あり，ファジィ入力 In は円錐，出力クリスプ集合
Ok（後件部）は頂点 R, G, あるいは B におけるシン
グルトン（縦棒）である．
ファジィ集合Ok’は縦矢印で示されている．もし，
入力がAjであれば，出力はOkである．AjとOkの主な
関係は表1に示されている．
表 1 は主要色のファジィルールを示している．3
つのルール(R1, R2, R3)は 2 つのファジィ集合で構成
されている（図 5）．表 1 の赤（red）では(1, 0, 0)の
成分をもち，ファジィルールの前件部(A1, A0, A0)に
対応している．赤成分 R はファジィ集合 A1 （not
black）で，緑成分 G はファジィ集合 A0（white）で，
青成分 B もファジィ集合 A0（white）で表せばよいこ
とを示している．
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
表1 主要色のファジィルール
Input fuzzy set
Hue color
a
W
Output crisp set
R1
R2
R3
R1
R2
R3
Red
A1
A0
A0
O1
O2
O3
100
Green
A0
A1
A0
O1
O2
O3
75
Blue
A0
A0
A1
O1
O2
O3
Lightness (%) 50
1.0
Yellow
A1
A1
A0
O1
O2
O3
25
Cyan
A0
A1
A1
O1
O2
O3
0.5
Magenta
A1
A0
A1
O1
O2
O3
0
C
50
0
Grade
0.0
100
Chromaticness (%)
表2 赤のファジィルールの例
(R1,R2,R3)
(
A1
(C, W, S)
(1
1
C
1
W
A0
0)
(0
1
0)
0
1
S
)
1
0)
0
1
0
R
(0
A0
b
W
Red
1
0
G
Hue
color
0
White
100
Black
75
C
Lightness (%) 50
B
1.0
25
表 2 は赤のファジィルールの例である．網掛けは
固定値．
ファジィ推論の方法は次のようである．入力 c=c’,
w=w’, s=s’とすると，U’=(c’, w’, s’)となる．
1)ルール Rk の入力で，αk=Aj(U’)，ここで k と j の主
な関係は表 1 に示される．
2) ルール Rk の出力で，αk レベル集合は縦矢印で示
される．
3)Ok’=αkOk，ここで Ok’はファジィ集合（縦矢印），
また Ok は出力クリスプ集合（縦棒）である（図 4b）．
ルール R1，R2，R3 の最終推論結果は O’である．
50
0
Grade
0.0
100
Chromaticness (%)
図 5 主要色のファジィ集合（not black と white）
1.0
Grade
a
(8)
出力座標 V’=(ro’, go’, bo’)は三角座標上のファジィ
集合 O’の重心で，V’=(ro’, uko’) は普通の座標上のフ
ァジィ集合 O’の重心である．uko’は線分 BG 上の値
（B からの距離）である．
これら三角形の頂点にある 3 本の縦矢印をファジィ
集合とみなし脱ファジィ化することになる（図 4b）．
図 4d は RGB 色立体であり，図 4b の各重みをベク
トル空間に戻し，これらの合成ベクトルを作る．図
4e でこのベクトルを含むトーントライアングル（こ
の例では直角三角形）を取り出し，図 4f のように正
三角形に直すことで，トーントライアングル上の推
論出力を示す．ここでトーントライアングルは CWS
（図 3a）と同じ三角形で C が色相 B（blue）となっ
ている．
図 5a の A1 において，C 上でメンバーシップ値が 1
で，W 上でも１であれば，S 上では 0 である．つま
りファジィ集合 A1 において(C, W, S)は(1, 1, 0)である．
図 5b の A0 において(0, 1, 0)となる．なぜならば，3
つのファジィ集合(A1, A0, A0)の W 上でメンバーシッ
プ値が(1, 1, 1)であり，S 上では(0, 0, 0)でなくてはな
らない．つまり赤成分 R はファジィ集合 A1 （not
black）で，緑成分 G はファジィ集合 A0（white）で，
青成分 B もファジィ集合 A0 (white)で表せばよい．
42
0.5
0.0
0
10
20
30
40 50 60
Blackness s (%)
70
80
90
100
1.0
b
Grade
O' = α1O1 ∪α2O2 ∪α3O3 = O1' ∪ O2' ∪ O3'
0
0.5
0.5
0.0
0
10
20
30
40 50 60 70
Whiteness w (%)
80
90
100
図 6 トーントライアングル上のファジィ入力の射影
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
４. 色調のファジィシステムの出力
W
100.0
図 6a は前件部のトーントライアングル上の not
black のファジィ集合（図 5a の三角錐 Aj）に W から
C 方向へ光を当て blackness 軸上の射影を直角三角形
で示している．あいまいな色彩であるファジィ入力
（円錐形 In）を射影すると二等辺三角形になる．例
えば，この三角形の中線が blackness s =20%の位置で
一致度は α=0.80（赤丸）となる．三角形の中線が
whiteness w =20%の位置で一致度は 0.27（赤丸）とな
る．図 6b は white のファジィ集合（図 5b の三角錐
Aj）に C から S 方向へ光を当て whiteness 軸上の射影
を直角三角形で示している．
図 7 はトーントライアングル上のクリスプ入力と
ファジィ入力（図 4a の円錐）の中心位置を示す．
このファジィシステムで入出力関係は非線形な情
報処理を示す．
図 8a のクリスプ入力に対する推論結果は図 8b-d
のファジィ入力の座標と少し異なる．左側のクリス
プ集合（a）とファジィ集合（c）の円錐の直径 d=0%
のとき三角形の各頂点および各辺上に出力している．
右側の d=23%はカラートライアングルの中央に大き
く集中している．また上段の集合の高さ h=1.0，下
段の 0.8 と高さが小さくなるとさらに中央に集中し
ているように見える．後で pre-vagueness を測ること
にする．
図9の縦軸はファジィ入力，横軸は円錐入力によ
る推論結果である．非線形な入力‐出力関係を示す
[3]．W-Sは無彩色．ここではrednessを示したがどの
色でも同じ特性である．0%, 10%, 20%, 30%は相似
形の三角形であり， 0%トライアングルは図7の三
角形CWSである．10%, 20%, 30%の相似形三角形
については図 13aのようであり，数字は図3bの入
力色である．No. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11の11色
は無彩色であり，これらの推論結果はredness 軸上
の33.3%にある1点に収束する．下からNo.13, 14, 15,
16, 17, 18, 19, 20, 21の9色，No.24, 25, 26, 27, 28, 29,
30の7色，No.35, 36, 37, 38の4色，そしてNo.43, 44,
45の3色の推論結果は接近している．ここで合成ベ
light
80.0
Lightness (%)
60.0
C
40.0
20.0
dark
0.0
0.0
S
20.0
40.0
60.0
80.0
100.0
Chromaticness (%)
図 7 クリスプ入力とファジィ入力の中心位置
G
100.0
G
Gf
100.0
a
80.0
Unknown (%)
Unknown (%)
60.0
W
Cy
R
40.0
M
20.0
0.0
0.0
B
60.0
Cyf
Cy
40.0
W
Rf
Mf
M
20.0
60.0
80.0
100.0
0.0
Bf
B
20.0
40.0
Redness (%)
G
Yf
Unknown (%)
60.0
Cy
Cyf
c
Rf
M
Bf
60.0
Cyf
Cy
W
Rf
R
40.0
Mf M
20.0
Mf
0.0
Yf Y
Y
40.0
0.0
100.0
d
Gf
80.0
W
20.0
80.0
G
100.0
80.0
60.0
Redness (%)
Unknown (%)
Gf
100.0
R
40.0
0.0
20.0
b
Y
Yf
80.0
Y
Bf
B
0.0
20.0
40.0
60.0
80.0
100.0
0.0
B
20.0
40.0
Redness (%)
60.0
80.0
100.0
Redness (%)
図 8 クリスプ入力とファジィ入力に対するカラートライ
アングル上の推論結果(h, d)= a:(1.0, 0%), b:(1.0,
23%), c:(0.8, 0%), d:(0.8, 23%)
→
クトル C は一致度(α1, α2, α3)からつくられるので，
トーントライアングル上の変換結果を理解するため
に一致度のデータに戻って3つの数値が似ているか
違っているかをみる必要がある．同じであれば図4e
の色立体の中線（無彩色）に近づくが，違っていれ
ば広がり，3つの面に近づく．
次にトーントライアングル上の合成ベクトル先端
を図10のような66点だけで示す．
Chromaticness
100%
Rf
66
64
65
0%
63
61
60
10%
56
light
46
20%
31
22
30
21
W-S
dark
39
30%
38
11
52
51
45
0%
0%
57
12
1
Redness
100%
図 9 ファジィ入力‐推論出力関係の模式図
(h =1.0, d =23%)
43
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
W
light
Lightness (%)
80.0
a
C
40.0
b
light
80.0
60.0
図10は横軸chromaticnessと縦軸lightnessの関係を
座標（co, lo）で示している．Cが赤であれば，後件
部の新しいカラートライアングル上へ赤（not black）
と緑（white）と青（white）のファジィ集合の一致度
と共に色立体のベクトル空間へ移し，各成分ベクト
ルから得られる合成ベクトルの先端をトーントライ
アングル上に示している．
図10a(h=1.0，d=0%)においてlight（No.51）は辺
CWの中点（6列目中央）にあり，dark（No.46）の位
置は6列目（中央）と変わらない．全66点は入力位置
（図7）と同じである．
図10b(h=1.0，d=23%)において円錐の直径dの大
きさによって辺CS上から頂点Wの方向に平行移動
するが，全66点の数に影響することはない．
図10c(h=0.8，d=0%)においてhが0.8に制限される
と頂点Sの方向に移動する．またlight（No.51）は中
央の列から2列左に移動している．つまりCW上に
11点，すぐ下の並びに10点あり，計21点がさらにそ
の下の並び9点と重なって全66点中45点だけになっ
ている．詳しくみるとNo.51（light）はNo.44と一緒
にNo.36に重なっている．他も同様である．特に
No.10, 11, 20, 21, 30の5色はNo.9の1色に重なる．
図10d(h=0.8，d=23%)において円錐の直径dの大
きさによって辺CS上から頂点Wの方向に平行移動
し，さらにhが0.8に制限されSの方向に移動する．
すなわちbとcの特徴が同時に出現している．
図 11 はトーントライアングル上への変換結果，色
み chromaticness，白み whiteness，および黒み blackness
の 関 係 を 図 4c の 色 み chromaticness と 明 る さ
lightness の関係で示している．図 11a で辺 CS から頂
点 W までの距離で辺 CS に最も近い点までの距離に
対する比を post-vagueness とする．
図 11a で post-vagueness Vpost の最大値は W（co, lo）
=（0%, 100%）であり，ここを 100%とするが，図
11b の h=0.8 で最大値は lightness 軸上の W’（co, lo）=
（0%, 80%）以上にはならないため，W’を 100%とす
る．
図 12 は横軸 pre-vagueness Vpre（後件部）と縦軸
post-vagueness Vpost（変換部）の関係を示す．Vpre は
図 8 の後件部 R-Rf (Cy-Cyf)間距離と R-W(Cy-W)間
距離の比である．Vpost は図 10 の辺 C-S から最初の点
までの距離（whiteness 方向）である．ファジィ集合
の高さ h は 1.0（△），0.9（○），0.8（◇），0.7（□）
と変化させ，直径 d は 0%, 10%, 20%, 30%, 40%と変
化させた．高さ h と直径 d による形状（図 6）が変
わると Vpre および Vpost は変化する．
図 12a 縦軸は変換部 CS-W 間距離を図 11a のよう
に測る．直径 d を広げると Vpre は増えるが，高さ h
を変えても Vpost は変化しない．
図 12b は図 11b のように前述した方法で測る．つ
まり高さ h の大きさによって正規化した結果であり，
理論値にバランスよく接近している．図 4 から(9)式
が導かれ，vagueness の理論値が求まる．詳細につい
ては論文[4]の付録参照．
W
100.0
Lightness (%)
100.0
60.0
C
40.0
dark
20.0
20.0
dark
0.0
0.0
S
0.0
20.0
40.0
60.0
80.0
100.0
0.0
S
20.0
40.0
Chromaticness (%)
W
100.0
c
100.0
d
80.0
light
60.0
C
40.0
Lightness (%)
light
Lightness (%)
80.0
W
100.0
80.0
60.0
Chromaticness (%)
60.0
C
40.0
dark
20.0
20.0
dark
0.0
0.0
S
0.0
20.0
40.0
60.0
80.0
100.0
0.0
S
Chromaticness (%)
20.0
40.0
60.0
80.0
100.0
Chromaticness (%)
図 10 クリスプ入力とファジィ入力に対するトーントライ
アングル上の推論結果
co
W
100%
co
W
a
b
W’
80%
C
lo
C
wo
so
S
S
図 11 トーントライアングル上のあいまいさ測定模式図
100.0
a
Post-vagueness (%)
80.0
60.0
40.0
h=1.0
Cyan
20.0
0.0
d=0%
0.0
d=10%
20.0
h=0.9
Red
d=40%
d=30%
d=20%
40.0
60.0
Pre-vagueness (%)
h=0.8
h=0.7
80.0
100.0
100.0
b
Post-vagueness (%)
80.0
60.0
40.0
h=1.0
Cyan
20.0
d=10%
0.0
Red
d=40%
d=30%
d=20%
h=0.9
h=0.8
h=0.7
d=0%
0.0
20.0
40.0
60.0
Pre-vagueness (%)
80.0
100.0
図 12 カラートライアングル上の Vpre とトーントライアン
グル上の Vpost の関係（曲線は理論値）
44
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
v post = 1 −
2
1
+1
1 − v pre
(9)
W
0%
G
a
10%
b
20%
新しいカラートライアングル（後件部）からトーン
トライアングルへの変換後にvaguenessがどのよう
に変わるかを見ると，図12aは多対一の関係を示し，
図12bはほぼ一対一の対応関係を示す．
さらにredness軸上のredとcyanではVpostは変わらな
いが、Vpreはcyanよりredの値が大きくなっている．
また理論曲線を境にはっきり分かれるのもたいへん
興味深い．not blackとwhiteのファジィ集合の形状の
違いに関係あると考えている．もしredであればnot
blackのファジィ集合が1つとwhiteのファジィ集合が
2つ，またcyanであればnot blackのファジィ集合が2
つとwhiteのファジィ集合が1つとなることが原因の
ようである（表1）．
図 13a の入力クリスプ集合は図 7 のクリスプ入力
とファジィ入力の中心位置を線で繋いで模式的に示
す．トーントライアングル CWS は 0%トライアング
ル と 呼 び ， 0% chromaticness ， 0% whiteness ， 0%
blackness から成っている．10%, 20%, 30%のトライ
アングルも同様で入力エリアを示している．
図 13b はファジィシステムの後件部を示している．
等高線に付いている数字は図 9 の No.を示している．
No.66（Rf）は外側にあるが No.51（light）は内側に，
No.1（S）から No.11（W）の無彩色は中心にある．
非線形なようすが分かる．
図 13c のファジィ入力に対する推論結果はあいま
いさが反映され，全ての色が W の方向に移動してい
る．つまり円錐の直径に依存し，W に寄っている．
直径が広がると辺 CS 上から外れ徐々に W に向かっ
て小さくなるが，色の数は 66 点で変わらない．
図 13d の辺 CW 上から外れる推論結果は図 4e の
合成ベクトルが小さいことを示している．66 色の入
力を加えているが，いくつかは重なって数が少なく
なってみえる．
カラートライアングルは各々のグレードをもつ3
つのパラメータ（重み）があいまいな色彩を示し，
トーントライアングル（前件部）からカラートライ
アングル（後件部）へ，さらにトーントライアング
ルへ（最終部）の写像を考えた．特にトーンのファ
ジィシステムでクリスプ入力に対しては変化しない
が，入力ファジィ集合に対してあいまいさを表すス
ケールを示すことができる．
５. おわりに
本稿では，トーントライアングル（前件部）から
新しいカラートライアングル（後件部）へ，さらに
トーントライアングル（最終部）への写像を考えた
[3]．特にクリスプ入力とファジィ入力に対するカラ
ートライアングル（後件部）上の推論値との関係は
非線形であり，クリスプ入力とファジィ入力に対す
るトーントライアングル上の変換値では線形な特性
を示す．またあいまいさ（vagueness）は可能性
（possibility）に影響されることが分かった．
45
30%
51
66
C
R
21
S
W
63
B
0%
10%
W
c
d
20%
30%
30%
C
20%
10%
C
0%
S
S
図 13 トーントライアングル上のファジィ入力(a)に対す
るカラートライアングル上の推論結果(b)と変換結果(c:
h=1, d >0%)および(d: h<1, d=0%)の模式図
参考文献
[1] L. Sivik, “Color systems for cognitive research.” in
Color Categories in Thought and Language. C. L.
Hardin, and L. Maffi, Eds. Cambridge University
Press, New York, 1997, pp. 163-193.
[2] N. Sugano, Fuzzy Set Theoretical Approach to the
Tone Triangular System, Journal of Computers,
Vol.6, No.11, 2345-2356, 2011.
[3] N. Sugano, Fuzzy Set Theoretical Approach to the
Tone Triangle System. International Journal of
Software Science and Computational Intelligence.
Vol.5, No.3, 33-54, 2013.
[4] N. Sugano, Shape Effects of Conical Fuzzy Set to
the Color Triangle System. -Vagueness depends on
possibility-, unpublished paper, 2017.
[5] R. J. D. Tilley, Colour and optical properties of
materials, An exploration of the relationship
between light, the optical properties of materials
and colour, John Wiley & Sons, New York, 1999.
連絡先 [email protected]
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
携帯型ゲーム機を用いた大学生の英語学習効果に関する研究
Effects of English learning using a portable game machine for undergraduates
○伴 浩美 1，木村 春彦 2，大薮 多可志 3
○Hiromi Ban1, Haruhiko Kimura2, Takashi Oyabu3
1 長岡技術科学大学大学院
1 Graduate
School of Nagaoka University of Technology
2 金沢大学大学院
2 Graduate School of Kanazawa University
3 国際ビジネス学院
3 Kokusai Business Gakuin College
Abstract: The Nintendo DS, which was developed by Nintendo and has been sold worldwide since 2004,
is a handheld game console which incorporates dual touch screens, voice-recognition features and
innovative controls, and has been used not only as a video game device but also in the fields of education
and as an education tool. In this study, a research regarding Nintendo DS software for learning English
was conducted with the objective of exploring the possibility of introducing and utilizing such software as
an education tool in universities. As a result, it was clearly shown that although both students that are
proficient in English as well as those who are not showed little interest in the beginning, when they
started actually using it, they began to realize that it was helpful to work with.
各被調査者に，調査時点において最新型 DS のニン
１. はじめに
任天堂が開発し，2004 年から世界各国で発売した携
テンドー3DS LL と以下の 5 本のソフトを貸与し，自
帯型ゲーム機ニンテンドーDS は，タッチスクリーン，
由に使用してもらった．
音声認識などの斬新な操作方法を取り入れたものであ
1. 英語が苦手な大人の DS トレーニング もっとえ
り，任天堂が「所有者の生活を豊かにするマシン」を
いご漬け（任天堂，2007）
目指すと述べたように，単なるゲーム機であるにとど
2. 学研 えいご三昧 DS（学習研究社，2009）
まらず，教育や教材にも活用されている[1][2]．
3. えいごで旅する リトル・チャロ（任天堂，2011）
近年，グローバル化が進むにつれ，英語コミュニケ
4. TOEIC®テスト超速トレーニング（アイイーイン
ーション能力が益々重要視されてきている．英語教材
として，紙ベースの問題集が数多く出版されているが，
それに加え，最近は e ラーニングの一種である，PC や
スティテュート，2012）
5. ナナミと一緒に学ぼ！ English 上達のコツ ナナ
ミ（メディアファイブ，2013）
DS の学習ソフトも種々発売されている．
（発売日の古い順）
本研究では，DS ソフトを大学において教材として導
入，有効に活用していく可能性を探ることを目的とし，
DS 使用の前後に，質問紙による無記名式アンケートに
英語学習 DS ソフトに関する調査を行った．
回答してもらうとともに，英語力検証試験を受けても
らった．
２. 調査方法
３. 調査結果と考察
英語学習 DS ソフトに対する感想や学習効果につい
3.1. アンケート結果と考察
て，大学生を対象として調査を行った．
今回のソフトを使用する前，使用することになった
[被調査者] F 県 F 大学工学部 2 年生
各ソフトに興味があったかどうか尋ねた．結果として，
英語習熟度別
A クラス 6 名（男子 4，女子 2）
，
Table 1 に示すように，興味があったのは A クラスが
B クラス 6 名（男子 5，女子 1）
13 件，B クラスはその半分弱の 6 件であった．B クラ
スは「どちらとも言えない」という回答が 17 件と多く
（A クラスの方が上位）
なっており，そのため，「興味がない」という回答は A
[調査期日] 2013 年 12 月 10 日～
クラス 8 件，B クラス 7 件と，殆ど差が見られない．
2014 年 1 月 28 日
46
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Table 1 Were you interested in this software before using
it?
Most
A
B
software
software
software
software
software
Total
1
2
3
4
5
software
software
software
software
software
Total
1
2
3
4
5
1
1
2
Relatively
more
2
3
1
3
2
11
No
opinion
2
1
3
Relatively
less
2
2
1
3
9
1
6
1
3
5
3
2
4
17
2
2
1
6
Least
2
2
2
1
1
2
1
4
3
スで 12 件ある一方，使いたくないという回答が A：
5 件，B：7 件見られる．
Total
Table 4 Do you want to continue to use this DS software?
6
6
6
6
6
30
Most
A
6
6
6
6
6
30
B
今回，実際に 5 種類のソフトを使用してみて，そ
software
software
software
software
software
Total
1
2
3
4
5
software
software
software
software
software
Total
1
2
3
4
5
1
1
1
1
1
5
1
1
Relatively
more
4
2
2
2
3
13
No
opinion
3
1
3
1
3
11
1
2
3
3
2
11
1
3
1
2
7
Relatively
less
1
2
Least
1
1
4
1
Total
6
6
6
6
6
30
2
3
6
6
6
6
6
30
1
1
6
1
れぞれについて楽しかったかどうか尋ねた結果を
Table 2 に示す．
「楽しかった」という回答は A クラ
3.2. 英語力検証試験結果と考察
スが 21 件，B クラスはその半分以下の 9 件であっ
英語力を検証するために，英語検定 3 級程度の選択
た．また，
「全く楽しくなかった」という回答が A
式問題を解答してもらった．語彙・文法についての問
クラスでは 1 件しかなかったが，B クラスでは 4 件
題 15 題，会話の応答問題 5 題，英作文の並べ替え問題
見られ，B クラスの学生が全体としてあまり楽しめ
5 題から成る試験の正解数を Table 5 に示す．
なかったことが窺われる．
Table 2
Did you enjoy using this software?
Most
software 1
software 2
software 3
software 4
software 5
Total
Table 5
1
1
2
software 1
software 2
software 3
software 4
software 5
Total
Relatively
more
6
4
3
3
3
19
No
opinion
3
1
3
4
4
2
14
2
1
3
9
Relatively
less
Least
2
2
1
2
5
1
1
3
1
1
1
1
2
1
1
3
4
Total
A1
A2
A3
A4
A5
A6
Avg.
6
6
6
6
6
30
6
6
6
6
6
30
1
3
7
6
7
10
5 .7
Before
3
4
4
5
5
5
4 .3
2
1
2
2
2
3
2
After
5
4
3
4
5
5
4 .3
2
1
0
4
2
3
2
Composition (5 Q.)
Total (25 Q.)
Before
3
4
3
4
4
3
3 .5
After
3
3
1
4
4
4
3 .2
Before
20
19
15
19
21
21
19 .2
1
2
0
2
1
1
1 .2
2
0
2
0
3
1
1 .3
8
11
9
11
9
11
9 .8
After
21
18
14
21
20
21
19 .2
5
4
9
10
12
14
9
スは語彙・文法問題の出来が影響し，得点が下がっ
「役に立つ」という回答が A クラス 22 件，B クラス
た．
17 件であり，その内，
「とても役に立つ」が A：5
件，B：2 件となっている．一方，
「役に立たない」
４．まとめ
は A クラス 2 件，B クラス 1 件と非常に少なく，全
今回の調査では，DS ソフトを使用した学習成果が見
体的には英語力を伸ばすのに役に立つと感じたと言
られることはなかったが，英語の英語を得意とする学
える．
生もそうではない学生も，DS ソフトが英語力を伸ばす
Do you think this software is available for
improving your English ability?
Most
B
5
8
7
7
6
7
6 .7
Conversation (5 Q.)
Total を見ると，A クラスには変化がなく，B クラ
立つと思ったか，という質問には，Table 3 の通り，
A
Vocabulary &
Grammar (15 Q.)
Before
After
14
13
11
11
8
10
10
13
12
11
13
12
11 .3
11 .7
B1
B2
B3
B4
B5
B6
Avg.
今回使用した各ソフトが英語力を伸ばすのに役に
Table 3
Number of correct answers in English tests.
software
software
software
software
software
Total
1
2
3
4
5
software
software
software
software
software
Total
1
2
3
4
5
2
1
1
1
5
1
1
2
Relatively
more
4
3
3
4
3
17
No
opinion
Relatively
less
1
3
1
3
3
3
3
3
15
2
3
3
1
3
12
Least
1
2
6
1
1
1
1
のに役に立つと感じたことが明らかとなった．
Total
参考文献
6
6
6
6
6
30
[1] 2007 年 10 月 26 日（金）経営方針説明会・中間
決算説明会 任天堂株式会社 社長 岩田聡 講演内
容 全 文 <http://www.nintendo.co.jp/ir/library/
events/071026/07.html>
[2] 産経新聞 ENAK <http://www.sankei.co.jp/enak/
2007/may/kiji/21life_nintendo.html>
6
6
6
6
6
30
しかし，Table 4 に示すように，今回使用したソフ
連絡先
トを今後も使ってみたいかどうかを尋ねたところ，
伴 浩美
E-mail: [email protected]
使用したいという回答が A クラスで 18 件，B クラ
47
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
消費者物価指数データの言語による要約
Linguistic summary of the consumer price indexes data
○熊木 孝真, 山田 耕一, 畦原 宗之, 鈴木 泉
○Takamasa Kumaki, Koichi Yamada, Muneyuki Unehara
長岡技術科学大学 大学院
Graduate School of Nagaoka University of Technology
Abstract: This paper proposes a method to summarize price indexes data linguistically using the data
change rates and statistics. The study aims at generating summary statements of figures in a table
which affect each other in complex ways. The sentences generated explain the trend of composite indexes
and individual item indexes, especially focusing on characteristic patterns of changes. In addition, it
explains the influence of individual items to variations of composite indexes.
１ 背景・目的
人間が膨大な量のデータの内容を理解するにはそ
れ相応の時間と努力が必要となる. そこで, 多量の
マルチメディア情報を容易に理解するための策とし
て, 「言語」による表現を用いた要約及び統合手段
が有望視されている. これは言語的明示性の重要な
文化圏や, 企業経営者・管理者への説明では図表に
図１: 消費者物価指数表の例
２．２ 変化率による言語表現の選定
よる情報提供だけでは不十分であり, 言語表現が重
要視されているからである.
総合指数の要約において,
月毎の物価指数の変
本研究の目的は, 膨大な量の数値データで構成さ
化率を算出し, それによって要約文に用いる表現を
れている時系列データの全国消費者物価指数表の言
選定し, 上期, 中期, 下期(４ヵ月毎)と年間を通した
語による要約手法を提案することである. 消費者物
動向について言語化する. まず, 各期間の変化率の
価指数を要約することで, 物価の変動が即座に明ら
総和をその期間における各月の変化率の和で求め,
かとなり, その特徴からインフレ・デフレの動向や,
その値の度合によって各期間の表現を決定する. こ
生活水準の推移などの情報を容易に理解できる. 尚,
れは月毎の変化率を算出しているため, 上下の変動
時系列データの要約には[1][2]のような研究も既存
が明確で複雑な物価動向であってもそれに適した言
するが, 本研究では関連する複数の指数の時系列デ
語表現を用意することで容易に言語化できる. 尚,
ータの要約について扱う.
変化率の総和に対する物価指数の傾向を表す言語表
現は図２に基づくものとする.
２ 提案する言語要約システム
図２により３期間の動向の言語表現を決定した後,
２．１ システム概要
年間を通した動向について言語化する. それは３期
本システムでは, 総務省統計局により公開されて
間の変化率の総和値を算出し, 同様に図２により言
いる年次の消費者物価指数表[3]をシステムに入力
語表現を決定する. 以上より, 総合指数は３期間の
として与え, 表の内容を要約した文章を生成し, そ
動向と年間を通した動向について言語化する.
れを出力する. 入力として与える消費者物価指数表
は図１のような表であり, 年次毎の月々の時系列デ
ータである. また, 物価全体の動向を示す総合指数,
商品それぞれの物価変動を示す品目指数(品目数は
７６品)で構成されている.
図２: 変化率に対する言語表現(𝑎:変化率の総和)
48
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
２．３ 要約対象とする個別品目の選定
要約の対象とする消費者物価指数表には, 76 品目
と多くの物価指数が記載されている. そのため, 要
約の対象とする品目を取捨選択することが望ましい.
そこで, 年間を通して物価指数に大きな変動があっ
図３: 生成される要約文例
た品目を要約の対象とし, 以下の手順でその品目を
探索する.
図３より, 生成される要約文の構成は総合指数の
1). 各月における全ての品目の物価指数の変化率
動向及び, それに影響を与えている品目について言
を算出.
述した後, 物価指数の変動が大きい品目の動向を言
2). 全品目の変化率の平均値μ, 標準偏差𝜎を算出.
述する.
3). 変化率が𝜇 ± 3𝜎の区間外にある外れ値を持つ品
３ 今後の課題
目を要約の対象に決定.
このように, 変化率の外れ値を持つ品目を要約の
重回帰分析による変動要因の抽出において, 現状
対象とし, その品目の変動について「～は大きく上
では大分類品目のみ説明変数として分析を行ってい
昇/下降となった」のように言語化する.
る. そこで, 細分化された品目にも着目するため,
２．４ 重回帰分析による変動要因抽出
抽出した大分類品目に中分類品目が存在する場合,
経済指標を扱う文章としてより妥当性を持たせる
大分類品目を目的変数, 中分類品目を説明変数とし
ために, 総合指数の変動に影響を与えている個別品
て再度, 重回帰分析を行い細かな品目についても要
目を特定し, それについて要約文で言及する. そこ
約文に加味しようと検討している.
で, 重回帰分析を用いる. 本研究では, 重回帰式は
また, 生成される要約文が実データと比べて妥当
式(1)のようになり, 目的変数を総合指数, 説明変数
であるか検証する必要がある. そのため, 複数人に
を各品目の物価指数とする.
よるアンケート評価によって客観的に妥当性の検証
総合指数 = 𝑎 + 𝑏1 × (品目1 ) + 𝑏2 × (品目2) + ⋯
(1)
を予定している. また, 妥当性の向上のため要約文
に用いる言語表現を経済新聞などを参考にし, より
この時, 細分化された品目を分析に含めると説明
適切な言語表現を用いることも検討している.
変数が約７０と多くなり, 精度に悪影響を与える.
そのため, まず大分類に属する１０品目を分析の対
参考文献
象とする. そして, 重回帰分式より説明変数が目的
[1] 蓮井大樹,松下光範: 言語表現による時系列デー
変数に与える影響の大きさ(各品目の係数𝑏)を算出
タ検索システムの提案, 情報アクセスと可視化
し, 各品目中最も影響度の高い品目を抽出する. 以
マイニング研究会(第 3 回), 3B3-NFC-4-2, 2013
上により, 抽出した品目を総合指数の変動に影響を
[2] 小林一郎: 時系列データの言語化への取り組み,
与えている品目とし, その旨を「～による押し上げ/
人工知能学会全国大会(第 26 回), SIG-AM-03-10,
下押し」のように言語化する.
2012
２．５ 生成される要約文
[3] 総務省統計局 消費者物価指数(2016/10/21 参照)
上述した手法により決定した各動向の言語表現群
<http://www.stat.go.jp/data/cpi/1.htm>
を予め用意している文章テンプレートに挿入してい
連絡先
くことで, 消費者物価指数表全体の要約文を生成し
長岡技術科学大学
ていく. システムによって生成される消費者物価指
山田 耕一
E-mail:[email protected]
数表の要約文例を図３に示す.
長岡技術科学大学 大学院
熊木 孝真
E-mail:[email protected]
49
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Finding Hidden Location Patterns of Two Competitive
Supermarkets in Thailand through Location Motif
○Jinattaporn Khumsri, Akihiro Fujihara, Daisuke Nogiwa, and Kazutomi Sugihara
Graduate School of Engineering, Fukui University of Technology
Abstract:
There are two famous supermarkets in Thailand: Big C and Lotus. They are the highest competitive
supermarkets who hold the most market share by lots of promotions and also gather all convenience
services including banking, restaurant, and others. In recent years, they gradually expand their stores
and they take a similar strategy to determine where to locate a store. It is important for them to consider
store allocation to obtain new customers efficiently. To consider this, we gather geographical locations of
these supermarkets from Twitter using Twitter API. Our dataset consists of tweets having these
supermarket names and coordinates of longitude and latitude for seven months. To extract hidden
location patterns from gathered data, we introduce location motif which is a directed subgraph whose
edges are connected between every pair of the shortest-distance opponent supermarket. We investigate
every possible configuration of location motif when they have a small number of nodes and find that the
configuration increases exponentially. We also visualize location motifs on the map of Thailand and count
the frequency of observed location motifs. As a result, we find that even if the possible location motifs
exponentially increase as the number of nodes grows, limited location motifs can be observed. Using
location motif, we successfully find an evidence of biased store allocation and check-in counts in reality.
1. Introduction
supermarket location information using data
Lotus [1] and Big C [2] are the most popular
science [5-7]. We are gathering geotagged tweets
supermarkets in Thailand. Customers come not
from Twitter using Twitter API [8]. We have
only for shopping but also for enjoying other
already
services, such as banking, eating at restaurants,
supermarket names and coordinates of longitude
bill payments, and insurance broker services. A lot
and latitude for seven month to investigate store
of promotions are often released by these
allocation patterns.
collected
tweets
having
those
supermarkets. They take a similar strategy to
In this paper, to extract hidden location
compete market shares of middle-range customers.
patterns of two competitive supermarkets from
Moreover, they want to expand their store more.
gathered data, we introduce location motif where
Thai people intuitively know “Where there is
every pairs of shortest-distance opponent nodes
Lotus, there is Big C.” It is important for
are connected with a directed edges in a subgraph.
managers of these supermarkets to obtain new
We investigate every possible configuration of
customers by expanding stores effectively. If we
location motif when they have a small number of
analyze and find any hidden location patterns of
nodes and find that the configuration increases
these supermarkets, it might be possible to predict
exponentially. We also visualize location motifs on
store expansion in the future and also suggest
the map of Thailand and count the frequency of
better decision for managers. By the way, human
observed location motifs. As a result, we observe
mobility patterns are found to be highly biased
that
and easily predictable based on some analyses
exponentially increase as the number of nodes
about network motifs [3, 4]. Are location patterns
grows, observed location motifs are highly biased.
of two competitive supermarkets also biased?
Using
On the other hand, for the recent advance of
even
the
if
the
concept
possible
of
location
location
motifs
motif,
we
successfully find hidden location patterns of store
information communication technologies, it is
allocation in reality.
possible to gather and analyze big data of
50
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
2. Location Motifs
ℓ1 > ℓ2 > ℓ3 > ℓ4 > ℓ1
Location motif can be considered in networks
(１)
which have two types of nodes having their
location information. It forms a directed subgraph
The relation contradicts itself because ℓ1 > ℓ1.
whose edges are linked to the nearest opponent
Therefore, the first assumption that there is a
type nodes from every nodes. For each node, there
cycle in the location motif is found to be wrong
is a single out-going edge liked to the nearest
(The end of Proof).
opponent type node, thus the number of out-going
edges in location motif is equivalent to the total
B1
number of nodes in the network. By definition,
every location motif has no cycle. To obtain
L2
L1
location motifs from location data like geotagged
B2
tweets, we first separate nodes from two types of
nodes. Then, we calculate the shortest distance
between every opponent node to find connection
Fig. 2. Example of location motifs pattern
between them. An example is shown in Fig.1.
TABLE I: The number of nodes and their possible
location motifs
Fig.1. Example of how to create a location motif
# of
# of
node
possibility
2
1
3
2
4
5
5
16
:
:
Figure of location motifs patterns
from two types of node (circle and square makers)
having location information
By definition of location motif, there exists no
cyclic structure in location motif. We prove this in
Theorem 1.
Theorem 1: There exists no cycle in location motif
Proof: First, we assume that there is a cycle in a
location motif as shown in Fig. 2, where ℓi (i = 1,
2, 3, 4) is the shortest distance to the nearest
opponent node. If this configuration is possible,
then it contradicts the definition that every edge
is reached to node with the shortest distance. For
example, by definition, B1 is the node having
shorter distance ℓ1 than B2 for L2. Similarly, we
:
can have the following relation of the other ℓi for
i=2, 3, 4 from nodes B1, L1, and B2. Therefore, we
We can also count the total number of possible
can obtain the following relations between ℓi.
location motifs using dynamic programming by
51
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Then, we segregate check-in tweets created only
in Thailand from the whole data. We visualize the
final data using QGIS as shown in Fig.3.
recursively adding one node to location motifs
with a lower number of nodes. Some calculated
results for all the possible location motifs up to five
nodes are summarized in TABLE I.
4. Method
We calculate the shortest distance between
locations of the different supermarket brands to
find the nearest opponent store location to
visualize location motifs on the map. Second, we
count the number of location motifs for each graph
patterns. To do this, it is helpful to use the data
structure for location motif as shown in TALBE III.
Data structure of location motif is defined by a
tuple of two types of node ID “B” for Big C and “L”
for Lotus. For each ID, the number of in-coming
edges from other nodes is also added. If there are
no in-coming edge, these node IDs are abbreviated.
For example, in TABLE III there are three nodes.
But, one Lotus node has no in-coming edge, so it is
abbreviated from the data structure (‘B2’, ‘L1’).
This data structure means that there are 2+1=3
nodes and one Big C node has two in-coming edges
and one Lotus node has one in-coming edge.
Similarly, we can define data structures that
corresponds to every location motif.
3. Dataset
We gather broadcast short messages in Twitter
called tweets that have keywords “Lotus” and “Big
C” using Twitter API [3]. Gathered data also
include location information (coordinates of
longitude and latitude) and time stamp (date and
time when the tweet is posted) as shown in TABLE
II. We use the data during 2015/11/28-2016/08/05.
The total number of tweets regarding “Lotus” is
10,143 and that regarding “Big C” is 16,369.
TABLE II: Sample data of tweet
Timestamp
Tweet
Longitude
Latitude
Fri Jan 01, 2016
อ้วนไปอีก
99.021852
18.797929
04:49:23
(Too fat)
Sat Apr 09 ,2016
ตามใจ
99.82356906
13.55098705
11:10:13
(Up to you)
Sat Apr 09,2016
มาซื้อพัดลม
100.72064917
13.86085966
05:31:30
(Come to buy
TABLEIII: Example of Data structure
Number of nodes
Data Structure
3
(‘B2’,’L1’)
Observed location motifs
electric-fan)
:
:
:
:
We also visualize all the location motifs on the
map of Thailand as shown in Fig. 4. And also
magnify Nakornratchasima and Phuket areas to
show some location motifs in Figs. 5 and 6. Then,
we have count the frequency of geotagged tweets
for each shop location to check how it biased and
we also observe the relationship of tweets
frequency as shown in Figs 7 and 8.
5. Results
We try to find hidden patterns of location
motifs of supermarket allocation through counting
observed location motifs by dynamic programming.
We summarize the observed location motifs up to
the number of nodes being five in TABLE IV. As
explained in Fig. 3, although the number of
possible location motifs increases exponentially as
the number of nodes increases, the number of
observed location motifs increases almost linearly.
Fig. 3. Visualization of coordinates of gathered
geotagged tweets on the map of Thailand
52
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Also, frequently observed location motifs are star
type graphs like (‘B3’,’L1’) and (‘B4’,’L1’) in the
expression of data structures. This result
indicates that the patterns of location motif are
clearly biased.
Furthermore, we consider the number of
observed location motifs up to the number of nodes
being five by changing number of decimals of
location coordinates to observe the effect on the
number of observed location motifs. When the
number of decimals for coordinates of longitude
and latitude is changed from five to four digits, for
example longitude information is changed from
99.02185 to 99.0218, the number of observed
location motifs is not much affected to the number
of observed location motifs as shown in TABLE V.
This means that the result of our analysis tend to
be stable even if location information is not so
accurate. We also consider the frequency of checkin tweets for each location by counting using a
program. We found the ranking of check-in counts
obeys a power-law distribution (or a long-tailed
distribution) for both Big C and Lotus as shown in
Figs. 7 and 8.
Fig. 5. Location motifs in Nakornratchasima area
Fig. 6. Location motifs in Phuket area
TABLE IV: Summary of observed location motifs
from geotagged tweets
# of
Data Structure
nodes
Location motifs in Thailand
53
Frequency
motifs
2
(‘B1’,’L1’)
28
3
(‘B2’,’L1’)
17
4
(‘B3’,’L1’)
11
5
(‘B2’,’L1’, ’L2’)
1
(‘B1’, ‘B2’,’L1’, ’L1’)
1
(‘B1’, ‘B2’,’L2’)
1
(‘B3’,’L2’)
2
(‘B4’,’L1’)
14
:
Fig. 4.
Observed location
:
:
:
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
possible configuration of location motif by using
our recursion algorithm by adding one node to
location motifs having the lower number of nodes.
We found that the possible configurations seemed
to increase exponentially. Second, we visualized
location motifs generated from gathered data on
the map of Thailand. We also counted the
frequency of observed location motifs using our
program. As a result, we find that even if the
possible location motifs exponentially increase as
the number of nodes grows, limited location motifs
can be observed. Furthermore, we observed the
ranking of check-in tweet counts for each
coordinates. We observed that the rankings of
check-in counts for Big C and Lotus obey a powerlaw type distribution meaning the check-in
frequency is highly biased. Using location motif,
we successfully find an evidence of biased store
allocation and check-in counts in reality.
For future work, we need to consider further
categorization of location motifs by check-in
counts. As we have found, most of the observed
location motifs are star type graphs. This means
that the hub node is surrounded by the other
opponent stores in the area. This geographical
relationship must affect the check-in counts for
two types of stores with each other. So, biased
check-in counts for each location motifs might be
observed. Through our analysis, we would finally
reach the origin of the biased patterns and hidden
patterns between location motifs and check-in
frequency for the application on efficient store
allocation.
TABLE V: Relation between effective digits of
location data and the possibility of location motifs
observed (where number of nodes is up to five)
Number of effective digits
Number of patterns observed
1
8
2
9
3
11
4
10
5
9
Fig. 7. Ranking of check-in counts for Big C
References
[1] Lotus supermarket,
http://www.tescolotus.com/en/
[2] Big C supermarket,
http://www.bigc.co.th/index.php
[3] C. M. Schneider, V. Belik, T. Couronne´, Z.
Smoreda, M. C. Gonza´lez 2013.
“Unravelling daily human mobility motifs,”
J. R. Soc. Interface 10: 20130246, 2-4.
[4] K. Wooyoung, M. Diko, K. Rawson 2013,
“Network Motif Detection: Algorithms,
Parallel and Cloud Computing, and Related
Tools, ISSN 1007-0214 06/11, Vol.18, 469-489.
[5] I. Dey 2005, “Qualitative Data Analysis,”
Taylor & Fransis Group ISBN 0-203-41249-4,
1-10.
[6] Q. C. Nguyen, D. Li, H.-W. Meng, S. Kath, E.
Nsoesie, F. Li, M. Wen 2016,“ Building a
Fig. 8. Ranking of check-in counts for Lotus
6. Conclusion
We investigated to observe hidden location
patterns of two competitive supermarkets in
Thailand focusing on Big C and Lotus. To consider
this, we gathered geographical coordinates of
these supermarket locations from Twitter using
Twitter API. We gathered tweets having these
supermarket names and geotags for seven
months. To consider location patterns, we
introduced the concept of location motif which is a
directed subgraph whose edges are linked between
every pair of the shortest-distance opponent node
in two types of node. First, we counted every
54
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
National
Neighborhood
Dataset
from
Geotagged Twitter Data for Indicators of
Happiness, Diet and Physical Activity,” JMIR
Public Health Surveill 2016;2(2): e158,
doi:10.2196/publichealth.5869
[7] B. A. Salih, P. Wongthongtham, S.-M.-R.
Beheshti, B. Zajabbari 2015, “Towards A
Methodology for Social Business Intelligence
in the era of Big Social Data Incorporating
Trust and Semantic Analysis, Proceedings of
the 2nd International Conference on
Advanced Data and Information Engineering,
Indonesia, 1-4, Springer.
[8] Twitter API,
https://dev.twitter.com/overview/api
Contact Information
Jinattaporn Khumsri
Email: [email protected]
Graduate School of Engineering,
Fukui University of Technology,
3-6-1 Gakuen, Fukui City, Fukui Prefecture
910-8505, JAPAN
55
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Weighted Distance in Directed Networks
for Measuring Social Influence
○Thanchanok Laopromsukon, Akihiro Fujihara, Daisuke Nogiwa, and Kazutomi Sugihara
Graduate School of Engineering, Fukui University of Technology
Abstract:
In this paper, a new measurement in directed social networks is proposed. Assuming directed networks, our measurement provides an evaluation of each vertex as social influence in consideration of not
only the number of incoming edges to a referred vertex but also outgoing edges from a referring vertex.
Through real experience in society, it seems that the concept is intuitively plausible. To verify the relevance between the proposed index and the previous ones, statistical hypothesis testing for non-correlation
is performed with randomly generated networks.
1. Introduction
2. Directed Social Networks
Networks (graphs) are widely used in many
In Information Theory, a network is a catalog
fields to represent relationships. For example, the
of system comprising components often called ver-
technological networks, the Internet and electrical
tices (or nodes) and direct interaction with edges
grids, perform an essential function in daily life.
(or links) [1]. The edges of a network can be di-
Information networks often appear as the hyper-
rected or undirected. Our research assumes that a
link of the Web. Neural networks are representa-
given social network is directed as shown in Fig.1.
tive of biological networks. While social networks
Typically, an directed network is expressed by
could be used to represent the associations among
G (𝑓, 𝑉, 𝐸), where 𝑓 is a function 𝑓 ∶ 𝐸 → 𝑉 × 𝑉, 𝑉
individuals.
is a set of vertices, 𝐸 is a set of edges.
In previous studies of networks, detecting clus-
For mathematical purposes, we represent a di-
ters in a given network or similarity among differ-
rected network through a matrix which is not an
ent networks are brought to attention [1]. Evalu-
adjacency matrix. The matrix is denoted as 𝐴 =
ating the indices of each vertices, such as Degree
[𝑎𝑖𝑗 ] and entries 𝑎𝑖𝑗 for any 𝑖, 𝑗 are defined by
Centrality [2,3], Closeness Centrality [2-4],
-- 𝑎𝑖𝑗 = 1 if there is an edge from vertex 𝑖 to 𝑗
Be-
tweenness Centrality [2,3,5], and Eigen-vector
exists
-- 𝑎𝑖𝑗 = ∞ (infinity) if an edge from vertex 𝑖 to
Centrality [2] have been well-discussed on the
structural measurement in directed networks.
𝑗 dose not exist
With respect to these indices, their application in
-- 𝑎𝑖𝑖 = 0 (not recursive)
marketing sciences has been increased recently [6].
Here,
we
propose
a
new
index
Therefore, it is assumed that a matrix 𝐴 is asym-
named
metric. From the network shown in Fig.1, the ma-
“Weighted Distance” in directed networks. This in-
trix is obtained as Table 1. In social networks, a
dex differs from these measurements in that we
vertex is regarded as an individual person and an
consider both the number of incoming edges to a
edge stands for “a commitment by one person to
referred vertex and outgoing edges from a refer-
another”. In other words, edges from a vertex rep-
ring vertex. By introducing this index, we attempt
resent a person’s interest towards the other people.
to measure the influential rate of each vertex and
The concept of “Weighted Distance” mentioned in
consider their properties. Finally, the outlook for
Section 3 is based on the interpretation.
our research is described in Conclusion.
56
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
edges is immeasurable.
In real world, these assumptions are associated
with the following situations:
-- A person who is carefully watched by many
people is influential. (Assumption 1)
-- A person with many interesting people is
hardly influenced by the individuals.
(Assumption 2)
-- An unnoticed person cannot influence
anybody. (Assumption 3)
Fig.1 : Directed network
That is why the assumptions seem to be reasonable in reality. In this section, we explain the way
Table 1 : Matrix derived from the directed
network in Fig.1.
to calculate this index.
A
B
C
D
E
A
0
1
∞
1
∞
B
1
0
1
∞
∞
C
∞
∞
0
1
∞
Weighted Distance 𝑊𝑑 (𝑖, 𝑗) from vertex 𝑖 to 𝑗 is
D
∞
∞
1
0
∞
defined as
E
∞
∞
1
∞
0
3.2 Definition
In
a
given
network
𝑊𝑑 (𝑖, 𝑗) =
(directed
𝐶𝐷𝑂 (𝑖)
𝐶𝐷𝐼 (𝑗)
network),
𝑛−1
𝑎𝑖𝑗
(1)
where 𝐶𝐷𝑜 (𝑖) is Out-degree (Number of outgoing
3. Weighted Distance
3.1 Concept
edges from vertex 𝑖), 𝐶𝐷𝐼 (𝑗) is In-degree (Number
To measure the influence of each vertex, we fo-
of incoming edges to vertex 𝑗) and 𝑛 is the num-
cus on their local circumstances. That is, we ob-
ber of vertices. These terms are calculated as
serve the number of “incoming edges to a referred
𝐶𝐷𝑂 (𝑖) = ∑𝑗∈𝑉 𝑎𝑖𝑗
(2)
vertex” and “outgoing edges from a referring ver-
𝐶𝐷𝐼 (𝑗) = ∑𝑖∈𝑉 𝑎𝑖𝑗 .
(3)
tex” between a pair of vertices. The index quanti-
𝑛−1
𝑎𝑖𝑗
stands for the edge length of shortest-path
fied by the measurement of influence is called
from 𝑖 to 𝑗 . If 𝐶𝐷𝐼 (𝑗) = 0 , then 𝑊𝑑 (𝑖, 𝑗) is as-
“Weighted Distance”. In the definition of Weighted
signed infinity. In addition, the case of an un-
Distance, the assumptions are as follows :
reachable vertex, 𝑊𝑑 (𝑖, 𝑗) is also unbounded. The
Assumption 1
proposed index is characterized by
When the number of incoming edges to a re-
[P1] 𝑊𝑑 (𝑖, 𝑗) = 0 if 𝐶𝐷𝑜 (𝑖) = 0
ferred vertex increases (decreases), then the in-
[P2] 𝑊𝑑 (𝑖, 𝑗) is proportional to 𝐶𝐷𝑜 (𝑖)
fluence of the vertex also increases (decreases).
[P3] 𝑊𝑑 (𝑖, 𝑗) is inversely proportional to 𝐶𝐷𝐼 (𝑗)
[P4] 𝑊𝑑 (𝑖, 𝑗) is unbounded, if 𝐶𝐷I (𝑗) = 0 or vertex
Assumption 2
When the number of outgoing edges from a re-
𝑗 is unreachable.
ferring vertex increases (decreases), then the in-
After considering the relationship between the
fluence of the vertex decreases (increases).
proposed index and the scale of influence, it is con-
Assumption 3
sidered appropriate to conclude that the influence
increases when 𝑊𝑑 (𝑖, 𝑗) decreases.
The influence of a vertex without incoming
57
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Table 2 : Weighted Distance derived from the
directed network in Fig.1.
A
B
C
D
E
A
0
2
1.33
1
∞
B
2
0
0.67
2
∞
C
∞
∞
0
0.5
∞
D
∞
∞
0.33
0
∞
E
∞
∞
0.33
1
0
𝑊𝑔
2
2
2.67
4.5
0
Based on the definition, the indices of each vertex was calculated in Fig.1 and the result was obtained as shown in Table 2. For example,
Vertex A → B ∶ 𝑊𝑑 (A, B) =
𝐶𝐷𝑂 (A)
Vertex A → E ∶ 𝑊𝑑 (A, E) =
𝐶𝐷𝑂 (A)
𝐶𝐷𝐼 (B)
𝐶𝐷𝐼 (E)
4
𝑎𝐴𝐵
=2
Fig.2 : Example of a directed network with
10 vertices and 30 edges
4
=∞
𝑎𝐴𝐸
Table 3 : Obtained indices from the directed
network in Fig.2
As mentioned before, lower 𝑊𝑑 means higher in-
Vertex
fluence, for 𝑊𝑑 (D, C), it can be said that C influenced D more strongly than
𝑊𝑑 (A, C)
and
𝑊𝑑 (B, C).
Furthermore, for a referred vertex, it is possible to sum the indices except for infinity. Table 2
also provides the sum of total 𝑊𝑔 (𝑗) is defined as
𝑊𝑔 (𝑗) = ∑𝑖∈𝑉 𝑊𝑑 (𝑖, 𝑗).
(4)
𝑊𝑔 (𝑗) is considered as “aggregated index” for
each vertex.
4. Experiments
4.1 Correlation Analysis
𝐷𝑐
𝐵𝑐
𝐶𝑐
𝐸𝑐
𝑊𝑔
1
5
3.167
0.050
0.577
14.667
2
4
5.333
0.048
0.442
27.500
3
5
1.283
0.063
0.669
28.000
4
9
22.067
0.077
1.000
11.500
5
8
16.817
0.067
0.882
12.200
6
8
13.767
0.071
0.854
21.250
7
6
2.450
0.077
0.679
55.000
8
5
6.267
0.056
0.609
23.333
9
5
3.567
0.050
0.484
22.000
10
5
3.283
0.056
0.547
21.333
Most frequently used centrality measure are
Closeness Centrality(𝐶𝑐 ), Between-ness Central-
the indices in Centrality measurement for dealing
ity (𝐵𝑐 ) and Eigen-vector Centrality (𝐸𝑐 ) in ran-
with properties of vertices in a network. To verify
dom networks. To avoid discussing about infinity,
the relevance between the well-known index and
we dealt with the result which did not include in-
𝑊𝑔 , the correlation analysis was performed.
finity as shown in Fig.2 and Table 3.
Pearson’s correlation coefficient was used to sta-
Using different directed networks depending on
tistically measure the intensity of a relationship
the number of vertices and edges, we calculated
between paired data.
the correlation coefficients between them in each
Our experiment was to compare between
graph. The following types of networks were ran-
Weighted Distance and the other indices in Cen-
domly generated by 20 samples for one type,
trality measurement, Degree Centrality (𝐷𝑐 ) ,
58
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Group 1 G(10,30)
10 vertices {Group 2 G(10,40)
Group 3 G(10,50)
Group 1 G(15,50)
15 vertices {Group 2 G(15,60)
Group 3 G(15,70)
Group 1 G(20,70)
20 vertices {Group 2 G(20,80)
Group 3 G(20,90)
where G(𝑚, 𝑛) is a type of directed networks
with 𝑚 vertices and 𝑛 edges. It is noted that
package “igraph” [6] of R was used in experi-
Fig.3.: Boxplot of correlation coefficients in
random networks with 10 vertices.
ment. Figs.3-5 are the boxplots to illustrate
the distribution of the obtained correlation coefficients between 𝑊𝑔 and the other indices in
random networks of each group.
4.2 Test for Non-correlation
Next, we performed tests of significance (noncorrelation testing) with the null hypothesis “the
correlation coefficient is 0” to check the significance of correlation coefficients. The following hypotheses of t-test for observing non-correlation
was arranged.
𝐻0 : 𝑟 = 0 [non-correlation]
Fig.4 : Boxplot of correlation coefficients in
random networks with 15 vertices.
𝐻1 : 𝑟 ≠ 0
or 𝐻1 ∶ 𝑟 < 0 or
𝐻1 ∶ 𝑟 > 0
Assuming the normality of the measurements, the
value 𝑡 of correlation coefficient 𝑟 is calculated
as follows:
𝑡=
𝑟 √𝑛−2
√1−𝑟 2
(5)
where 𝑛 is the number of vertices in a type of random network. For two-tailed test (𝐻1 : 𝑟 ≠ 0), the
critical value of 𝑡 = 2.31, 2.16, 2.10 in each type
were obtained at a significant level 5%. Tables 4
and 5 show the number of random networks with
significant correlation (rejecting 𝐻0 ). From Table
4 (𝐻1 : 𝑟 ≠ 0), it was found that 𝐶𝑐 was not correlated with 𝑊𝑔 in almost random networks. On the
Fig.5 : Boxplot of correlation coefficients in
random networks with 20 vertices.
other hand, in lower-tailed test (𝐻1 : 𝑟 < 0), 𝐻0 of
59
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
single characteristic. The hypotheses are de-
Table 4: Result of hypothesis tests for noncorrelation (𝐻1 : 𝑟 ≠ 0)
scribed as follows:
20 vertices
15 vertices
10 vertices
𝐷𝑐 /𝑊𝑑 𝐵𝑐 /𝑊𝑑 𝐶𝑐 /𝑊𝑑 𝐸𝑐 /𝑊𝑑
Group 1
G(10,30)
Group 2
G(10,40)
Group 3
G(10,50)
Group 1
G(15,50)
Group 2
G(15,60)
Group 3
G(15,70)
Group 1
G(20,60)
Group 2
G(20,70)
Group 3
G(20,80)
12
7
2
12
14
3
2
14
10
10
1
11
16
7
1
16
13
13
1
13
16
10
0
16
19
14
1
17
17
10
4
18
19
15
0
19
𝐻0 ∶ 𝑝̂ = 0.5 [equal probability]
𝐻1 ∶ 𝑝̂ ≠ 0.5 [not equal probability]
Null hypothesis indicates that there is no difference between two population proportions. In this
test, rejecting of the null hypothesis (𝐻0 ) implies
that the correlation does not randomly appear. For
testing, the value 𝑧 is calculated by using the following formula:
𝑧=
10 vertices
15 vertices
̂
(6)
where 𝑝 is a proportion of rejecting 𝐻0 in our experiment, 𝑝̂ is a hypothesized proportion to be
compared and 𝑁 is the number of randomly gen-
𝐷𝑐 /𝑊𝑑 𝐵𝑐 /𝑊𝑑 𝐶𝑐 /𝑊𝑑 𝐸𝑐 /𝑊𝑑
20 vertices
̂
√𝑝(1−𝑝)
𝑁
Table 5: Result of hypothesis tests for noncorrelation (𝐻1 : 𝑟 < 0)
Group 1
G(10,30)
Group 2
G(10,40)
Group 3
G(10,50)
Group 1
G(15,50)
Group 2
G(15,60)
Group 3
G(15,70)
Group 1
G(20,60)
Group 2
G(20,70)
Group 3
G(20,80)
𝑝− 𝑝̂
erated networks in each group (in this case, 𝑁 =
17
9
1
16
15
6
0
14
14
11
1
15
cant proportion is underlined. Comparing 𝑊𝑑
17
11
1
19
with Closeness Centrality (𝐶𝑐 ) in Table 4, such a
17
16
1
18
proportion appeared in the whole groups at a sig-
19
19
0
18
19
15
1
19
20
16
2
19
18
19
0
20
20).
In Tables 4 and 5, the frequency with signifi-
nificant level 5%. This fact means that the observed non-correlation between them did not randomly occur. In addition, from Table 5, we found a
negative correlation between 𝑊𝑑 and two kinds of
indices, Degree Centrality(𝐷𝑐 ) and Eigen-vector
Centrality(𝐸𝑐 ) in almost networks.
𝐷𝑐 /𝑊𝑑 and 𝐸𝑐 /𝑊𝑑 was rejected in about 80% of
the total networks and the result indicates that 𝐷𝑐
5. Future Works
and 𝐸𝑐 are negatively correlated with 𝑊𝑑 (See
In our research plan, the goal is to suggest a
Table 5).
practical use of our index in “viral marketing”. Viral marketing is marketing techniques that use
social networks to increase brand awareness. Re-
4.3 Test for Equal Probability
After obtaining correlation coefficients and sig-
cently, many researchers take more interest in
nificant tests for non-correlation, to verify equal
measuring of influence and detecting a candidate
probability in the hypothesis testing, z-test for 2
of influencers [7-10]. After scale construction of in-
population proportions was performed was used.
fluence, a multi-objective optimization problem
z-test is a famous method to know whether two
will be formulated to detect candidates who can
populations or groups differ significantly on some
promote products and service via both online and
60
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
offline
channels.
Furthermore,
some
of a graph, Operations Research, Vol.12,
proper
pp.450-459, 1965.
method should be discussed to generate social di-
[5] J.Ricardo, F.Ronqui, G.Travieso, “Analyzing
rected networks from information source like dig-
complex networks through correlations in cen-
ital books and SNS.
trality measurements”, Journal of Statistical
Mechanics: Theory and Experiment, Vol.2015,
6. Conclusion
2015.
We proposed a new index named “Weighted
[6] G.Csardi, “Network Analysis and Visualiza-
Distance” in directed networks. First, assuming a
directed network regarded as a social network, an
tion ; Package ‘igraph’”,
original matrix to represent a commitment to
https://cran.r-project.org/web/packages/igraph,
other people was prepared for the definition of the
2015.
[7] F.Benevenuto, T.Rodrigues, M.Cha, V. Almeida,
index. Next, the index was defined for measuring
influence of each vertex under some assumptions.
“Characterizing User Behavior in Online So-
In the definition, we considered both the number
cial Networks”, Proc. the 9th ACM SIGCOMM
of incoming edges to a referred vertex and out-
conference on Internet measurement confer-
going edges from a referring vertex. In the experi-
ence, pp.49-62, 2009.
ment of this paper, statistical tests for non-corre-
[8] E.Merzbach, J.Picard, “Multi-step “Word-of-
lation and equality probability were performed.
Mouth” communication influence in market-
Through experiment, it seem that our index is sta-
ing: a mathematical model”, International
tistically related to some indices in Centrality
Journal of Pure and Applied Mathematics,
Measurement. For our index, we have a challenge
Vol.54, No.4, pp.503-519, 2009.
with handling infinity in the measurement. While
[9] N.Matsumura, H.Yamamoto, D.Tomozawa,
introducing infinity seem to be reasonable, it will
“Find ing Influencers and Consumer Insights
be a sensitive subject on practical side.
in the Blogosphere”, Proc. International Conference on Weblogs and Social Media (ICWSM2008), pp.76-83, 2008.
References
[1] F.D.Malliaros and M.Vazirgiannis, “Clustering
[10] Y.Wang, H.Wang, J.Li, “Efficient Influence
and Community Detection in Directed Net-
Maximization in Weighted Independent Cas-
works : A Survey”, Physics Reports Vol.533,
cade Model”, Database Systems for Advanced
No.4, pp.95-142, 2013.
Applications, Vol.9643 pp 49-64, 2016.
[2] A.Rusinowska, R.Berghammer, H.D.Swart, M.
Grabisch “Social networks: Prestige, centrality,
Contact Information
and influence”, Lecture Notes in Computer Sci-
Thanchanok Laopromsukon
ence (LNCS) 6663, pp.22-39, 2011.
Email: [email protected]
[3] C.Kiss and M.Bichler, “Identification of Influ-
Graduate School of Engineering, Fukui University
encers - Measuring Influence in Customer Net-
of Technology,
works”, Decision Support System, Vol.46, No.1,
3-6-1 Gakuen, Fukui City, Fukui Prefecture
pp.233–253, 2008.
901-8505, JAPAN
[4] S.Hakimi, “Optimum locations of switching
centers and the absolute centers and medians
61
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
フォイルカイトの自動飛行学習制御器のためのシステム構築
Development of Automatic Flight Control for Foil Kite by Supervised learning
⃝ 1 小島 令子，
⃝ 1 Reiko Kojima,
1
近藤 智行，
高橋 泰岳
1
1
Tomoyuki Kondo, Yasutake Takahashi
1
福井大学
1
University of Fukui
1
Abstract: This report presents an ongoing development of an automatic flight system for a foil kite.
We have been developing a high-altitude windmill system using a single kite. The high-altitude windmill
system is a promising ecology power generator utilizing wind power as one of the natural energies. The
single kite lifts a windmill up and generates electronic power on the ground. However, commercially
available single kites are small and not sufficient to lift up a heavy windmill. A big foil kite is commercially
available and has an enough payload to lift up a heavy windmill. However, the flight of the foil kite is
not stable in the air as the single kite is and it needs a robust flight controller. This report describes the
overview of the automatic flight system for the foil kite which we have developed so far.
1
緒言
ながり，この 4 本のラインを操作することにより，上
我々はこれまで高空風力発電システムの研究・開発
空のフォイルカイトの姿勢を制御する．コントロール
を行ってきた．文献 [1] ではシングルラインカイトを用
ラインはカイトの左右の運動を制御する．一方，ラン
い，ラインに沿って昇降するマウントを開発し，そこ
ディングラインを引っ張ることで、カイトの高度を下
に風車を取り付け，風車を上空へあげることで風力発
降させることができる．コントロールバーはステッピ
電させるシステムを開発している．しかし，現在入手
ングモーターを用いて制御する．コントロールバーに
可能な大きさのシングルラインカイトのペイロードは
4 本のラインを結び，カイトを制御する．この装置の
コントロールバーにモーションセンサを取り付け，カ
イト飛行制御中のコントロールバーの姿勢を計測する．
上空のフォイルカイトの位置姿勢の位置姿勢の推定は
文献 [2] のシステムを用いて，カメラを用いた状態推
定を行う．カメラは地上で上空のカイトを撮影できる
位置に設置する．
小さく，重量の大きい風車を持ち上げることは困難で
ある．パラグライダー等で用いられるキャノピーにも
利用できるフォイルカイトは，市販のものでも十分な
ペイロードを持ち，重量の大きい風車を持ち上げるこ
とができると考えられる．しかし，フォイルカイトは
シングルラインカイトと異なり，飛行中の安定性は低
く，風の変動に対する姿勢制御が必須である．そこで，
ペイロードの増大を期待できるフォイルカイトを用い
た高空風力発電システムの実現を目指し，本稿では小
3
カイトの運動モデルの学習のためのデー
タ取得
カイトを制御するに当たり，運動モデルを構築する．
型フォイルカイトの自律飛行制御を行うためのシステ
運動モデルはフォイルカイトの飛行制御中の実験デー
ム構築を行い，その飛行実験の結果を報告する．具体
タより，機械学習手法を用いて構築する．図 2 にフォ
的には，地上にカメラを設置し，撮影された画像上の
イルカイト運動モデルの概念図を示す．コントロール
フォイルカイトの映像からパーティクルフィルタを用
バーの姿勢 θc とカイトの姿勢 θk からカイトの姿勢角
いて状態推定するシステムを構築し，試験を行った． 速度 θ̇c を推定する．福井大学文京キャンパスの運動場
フォイルカイトの自律飛行制御システム
にて風速 4.5m/s の風況においてフォイルカイトを飛
図 1 にフォイルカイトの自律飛行制御システムの概
行させ，飛行中のコントロールバーの姿勢 θc とカイト
要と今回構築した制御装置の写真を示す．フォイルカ
の姿勢 θk を計測し，このデータを用いて運動モデルの
イトはコントロールバーを用いて制御する．フォイル
パラメータを推定する．
2
カイトとコントロールバーは 2 本のランディングライ
実験により取得したデータを図 3 に示す．図 3(a) は
ンと 2 本のコントロールラインの計 4 本のラインでつ
カメラ画像から推定したカイトの姿勢角の時系列を示
62
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
60
θk
40
20
θk[deg]
0
-20
-40
-60
-80
-100
-120
-140
0
θc
30
20
40
time[s]
(a) カイトの姿勢
motionsenser
PC
10
20
Camera
15
10
θc[deg]
(a) 模式図
5
0
-5
-10
0
10
20
30
40
time[s]
(b) コントロールバーの姿勢
図 3: 実験により取得したデータ
センサを取り付け，飛行制御中のコントロールバーの
(b) コントロールバー制御装置
姿勢データを取得するシステムを構築した．実ロボッ
図 1: フォイルカイトの自律飛行制御システムの概要
トによる実験により，コントロールバーの姿勢データ
と制御装置
とカイトの姿勢データがリアルタイムに取得できるこ
とを示した．今後は、これらの取得したデータと機械
学習を用いたカイトの運動モデルの構築方法を模索し，
さらにロバストな姿勢制御を行う制御器の開発を行う.
5
図 2: フォイルカイト運動モデルの構築
謝辞
フォイルカイトはジオスポーツの中台様から提供し
て頂きました．ここに記して，謝意を表します.
している．このデータでは，20 秒以降のカイトの姿勢
参考文献
が一部ばらついている．これは，一時カイトのトラッ
[1] 近藤智行, 高橋泰岳, 小島令子. カイト型テザー係留飛行
ロボットを用いた小型風力発電システムの試み. 日本機
械学会 2016 年度年次大会講演論文集, September 2016.
キングに失敗したことによるものだと考えられる．図
3(b) のデータはコントロールバーのモーションセンサ [2] 近藤智行, 高橋泰岳. パーティクルフィルタを用いたフォ
イルカイトの視覚トラッキングと状態推定. In FAN2016,
のヨーの値をプロットしたものである．現在，自動飛
October 2016.
行実現のため，これらの取得したデータと機械学習手
法を用いたカイトの運動モデルの獲得を模索している．
連絡先
4 結言
福井大学 工学部 知能システム工学科
本稿では，小型フォイルカイトの自律飛行制御を行
インタラクティブ・ロボティクス研究室 小島 令子
うためのシステム構築を行い，カイト飛行中のデータ
E-mail: [email protected]
が取得できることを示した．具体的には，地上にカメ
ラを設置し，撮影された画像上のフォイルカイトの映
像からパーティクルフィルタを用いて状態推定するシ
ステムを用いた．また，コントロールバーにモーション
63
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
ニューラルネットワークを用いたロボットにおける文字描画
視覚運動の学習モデル
Visuomotor Learning Model for Robot Letter Drawing based on Deep Neural Network
⃝ 増田 慎平 1 ,
高橋 泰岳 1
⃝ Shimpei Masuda1 , Yasutake Takahashi1
1
福井大学
1
University of Fukui
Abstract: This study proposes a visuomotor learning model for letter drawing of a robot based on deep
neural network. This model learns letter drawing sequences from drawing experiences taught by a human
teacher that include drawing motion and drawing picture image frames. The model consists of three neural
networks, a convolutional auto encoder for visual feature extraction, a 4-layer feedforward network for draw
sequence learning, and a 3-layer feedforward network for motor command generation. An experiment is
conducted to show that the proposed model learns 26 cursive lowercase letters successfully.
1
はじめに
ドを出力する．
近年，一般社会へのロボットの普及の加速などから，
人間のように学習が可能なロボットの需要と期待が高
まっている．認知発達ロボティクスは，ロボットに複
雑な認知機能を実現することで逆説的に人間の認知機
能を解析する分野で，近年の機械学習技術の急速な発
展により実現可能な認知機能の幅が広がっており，ヒ
トと同様な学習機構をロボットに実現する方法の模索
も行われている [1]．
本研究では，人間の特徴的な機能の一つである文字
描画視覚運動の学習をロボットで実現することを目指
し，ニューラルネットワークによるモデルを構築し，そ
の有効性を検証する．提案するモデルは視覚特徴量の
抽出，筆順の学習，モータコマンドの学習にそれぞれ
図 1: 文字描画視覚運動学習モデル概要図
人工ニューラルネットワークを用いる．このモデルは手
先運動の記憶を用いて効率的に新たな文字の学習が可
能である特徴があり，学習に関して人の手によって設
扱う視覚画像の次元数が大きいため，CAE を用いて
計された特徴量等の情報を必要としない．また，視覚
次元圧縮を行う．一般的に畳み込み層はプーリング層
入力は次元数が多く，特に文字描画では大きな次元数
と合わせて使用されるが，画像上の位置が重要となる
が求められるが，これを Convolutional AutoEncoder
ためここでは畳み込み層のみを使用する．
を用いて次元削減し，学習を可能にする．
2
学習は (a)CAE，(b) 筆順ネットワーク，(c) モータ
コマンドネットワークの学習を，(a)(c)(b) の順に段階
文字描画視覚運動学習モデル
的に行う．(a)，(c) の学習は文字の学習前に一度だけ
図 1 に提案する文字描画視覚運動学習モデルの概要
行い，新しい文字のネットワークを学習させる際は (b)
を示す．モデルは Convolutional AutoEncoder(CAE)
の学習のみを行う．
とフィードフォワードニューラルネットワークから構
モデルに与える文字描画データセットのすべての視
成される．人間によって教示された教師データから学
覚画像を用いて (a)CAE の学習を行う．獲得されたネッ
習し，視覚入力とアームの状態に応じたモータコマン
トワークは (b)，(c) の学習でも更新せず，同じものを
64
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
使用する．
(b) 筆順ネットワークは 4 層のフィードフォワード
ニューラルネットワークである．このネットワークは
学習する文字毎に独立して用意される．対象とする文
字について，現在の視覚画像の特徴量を入力とし，次
フレームの視覚画像の特徴量との差分を教師出力とす
ることで，現在の視覚画像特徴量にもとづいて，次フ
レームのための特徴量差分を出力するネットワークを
得る．最後に出力の調整のため，モータコマンドネット
ワークと筆順ネットワークを連結し少量の学習を行う．
(c) モータコマンドネットワークは 3 層のフィード
フォワードニューラルネットワークである．モデルに
与える文字描画データすべての描画中の各フレームに
ついて，運動前と運動後の視覚画像の特徴量の差分を
入力とし，そのフレームでのモータコマンドを教師出
力とすることで，特徴量差分にもとづいてモータコマ
ンドを出力するネットワークを得る．文字の学習時に
は得られたネットワークを文字毎に複製し，追加の学
習を行う．
3
図 2: シミュレータ画面
dƌĂŝŶŝŶŐĚĂƚĂ
ƌĂǁŶďLJŵŽĚĞů
評価実験と結果
提案するモデルの評価のため，常用されている一筆
書き文字としてアルファベット筆記体の小文字 26 文字
図 3: 教示データ (左) と学習後の描画結果 (右)
を学習対象とする．水平面内２自由度アームを持った
ロボットを想定し，コンピュータシミュレーションで
実験を行う．シミュレータ画面を図 2 に示す．学習用
4
のデータセットとして，人間のタブレットでの各文字
結言
ニューラルネットワークを用いた文字描画視覚運動
の描画をサンプリングした軌跡をロボットアームに描
の学習モデルを提案した．モデルの評価として常用一
画させたものを用いる．データセットの各フレームに
筆書き文字についての学習を行い，成功することを確
は，現在の視覚画像 (56x56 pixel，RGB)，次フレーム
認した．今後の課題として，実験結果の詳細な分析や，
の視覚画像，現在の関節角度 (2 次元)，フレームでの関
実際にロボットを使用した実験などが考えられる．
節角速度 (2 次元) のデータが含まれる．(a)，(c) の学
参考文献
習では 26 文字すべてのデータセットを使用し，(b) で
[1] Kazuma Sasaki, Hadi Tjandra, Kuniaki Noda, Kuniyuki Takahashi, and Tetshuya Ogata. Neural netの学習について評価するため，26 文字のデータで (a)，
work based model for visual-motor integration learn(c) の学習を行った後，○，△，□の図形について (b)
ing of robots drawing behavior association of a drawing motion from a drawn image. In Proceedings
の学習を行った．
of IEEE/RSJ International Conference on Intelligent
アルファベット筆記体の小文字 26 文字の全てについ
Robots and Systems, pp. 2736–2741, 2015.
は各文字のデータセットを使用する．また，新規文字
て文字描画ネットワークが獲得できた．実験の結果の
一例として a，h，y の文字についての結果を図 3 に示
連絡先
〒 910-8507 福井県福井市文京 3 丁目 9 番 1 号
す．新規文字としての○，△，□の図形についても描
画ネットワークの学習に成功した．各文字，図形につ
福井大学 工学部 知能システム工学科
いて十分な精度の出力のネットワークが得られており，
増田慎平 (インタラクティブ・ロボティクス研究室)
モデルの学習機能について確認できた．
E-mail: [email protected]
65
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
装着者の足とパワーアシストスーツ間に働く力とヤコビアンを
用いた運動推定に基づくアシスト制御
Power Assist Control Based on User Motion Estimation using Force Between Users Foot
and Powered Exoskeleton and Jacobian
⃝ 1 村井 翔太，
佐橋 克弥,
⃝ 1 Shota Murai, Katsuya Sahashi,
野村 慎之介
Shinnosuke Nomura
高橋 泰岳,
川井 昌之
Yasutake Takahashi, Masayuki Kawai
1
福井大学
1
University of Fukui
Abstract:
We have been developing a powered exoskeleton to support workers at nuclear power plant in time of
hazard. We have proposed a power assist control method based on motion prediction using 9-axis motion
sensors. Currently, parameters of the power assist control are adjusted manually and depend on wearer’s
body sensation. To solve the problem, learning algorithm that can adjust parameters of a power assist
control based on the interaction between a wearer and a powered exoskeleton is needed. This paper reports
a power assist control method based on motion estimation using 6-axis force sensors and Jacobian as a
preliminary experiment.
1
はじめに
2
近年、少子高齢化による労働力不足から介護や農業
の現場における労働負担の増加が問題となっている．
この問題の解決策として，人間の動作をサポートする
装着者と PAS 間に働く力とヤコビアンを
用いた運動推定に基づくアシスト制御
✂✄☎✄✆ ✝✄✞✞✟✠✡ ✝✟☛✝☞☛✟☎✌✄✠
✍✎✠✏✄✆ ✑☞☎✒☞☎✏
✁
✁
✖✟☛✝☞☛✟☎✎
✗✟✝✄✘✌✟✠
パワーアシストスーツの研究が行われている．当研究
室では，災害時の原子力発電所で除染作業者のアシス
✂✄☎✄✆ ✓✠✒☞☎✏
✙✠✚☛✎
トを目的としたパワーアシストスーツの研究を行って
✁
✁ ✔✂✄☎✄✆
✔✕✄✆✝✎ ✏✎✠✏✄✆
いる．パワーアシストスーツの制御手法としとして筋
電センサ [1] や床反力スイッチを用いた手法 [2] がある
が，前者は高温多湿になり易い放射線防護服内では発
図 1: アシスト制御手法の概要
汗によって筋電データの取得が難しく，後者は数歩の
歩行動作から動作認識を行うため迅速なアシストが難
しいといった問題がある．そこで我々は，これらの問
✁✂✄☎
✆☎✝✞✁✂
題を持たない，モーションセンサを用いた装着者の動
作予測に基づくアシスト制御法 [3] を提案し，研究を
行ってきた．現在，アシスト制御パラメータは手動調
節が必要である．そこで，パワーアシストスーツ足裏
に取り付けられた力センサを用い，装着者とパワーア
シストスーツの間に発生する力に基づいたアシスト制
図 2: 力センサの軸方向と関節角度の定義
図 1 に本アシスト制御手法の概要を，図 2 に力セン
御パラメータの学習システムが必要となる．本報告で
サの軸方向と関節角度の定義を示す．股と膝のモータ
は予備実験として装着者の足とパワーアシストスーツ
によって脚の伸展・屈曲をアシストする．足裏の 6 軸
間に働く力と，ヤコビアンを用いた装着者の運動推定
力センサは装着者の足とパワーアシストスーツ間に働
に基づくアシスト手法を提案し，その評価を行う．
く 3 軸方向の力を計測する．静止足裏の力センサの値
66
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
から，支持脚・遊脚の判断を行う．
300
足先が追従するように，ヤコビアンを用いた制御を行
200
Foot Force [N]
遊脚に関しては，力がかかっている方向にスーツの
う．足裏の速度 ẋ = (ẏ, ż)T とパワーアシストスーツ
の腰と膝関節の関節角速度 θ̇ = (θ˙w , θ˙k )T の間のヤコ
ビアン行列を J(θ) とし，パワーアシストスーツのリ
ンク長 lk , lw とエンコーダによって計測された各関節
100
0
-100
-200
T
角 θ = (θw , θk ) により求める．
-300
42
ẋ = J(θ)θ̇
44
46
(1)
)
lw cos (θw ) + lk cos (θw + θk ) lk cos (θw + θk )
J (θ) =
−lw sin (θw ) − lk sin (θw + θk ) −lk sin (θw + θk )
(2)
装着者の足とパワーアシストスーツ間に働く力を F と
したとき，パワーアシストスーツの腰と膝関節の目標
tgt tgt T
関節角度 θ tgt = (θw
, θk ) を次式で求める．
F
50
図 3: 右足にかかる進行方向の荷重
(3)
Assist control with LPF
Assist control without LPF
No assist control
500
Foot Force [N]
−1
θ tgt = θ + CJ(θ)
48
time[s]
(
400
300
200
100
C は Z ，Y 軸方向の力の変位に対する係数 Cz ，Cy を
対角要素に持つ行列を表す．各関節は目標値に対して
PD 制御を行う．
支持脚に関しては，支持脚側の腰位置をある程度の
高さに保ったアシストをするために，垂直方向の力変
位 F の代わりに，垂直上方向に力を発生させるために
一定の値を入力とする．
3
Assist control with LPF
Assist control without LPF
No assist control
0
42
43
44
45
46
47
48
49
50
time[s]
図 4: 肩にかかる垂直方向の荷重
4
結言
本報告では，力センサを用いて装着者の足とパワー
アシストスーツ間に働く力を計測し，ヤコビアンを用
いたアシスト制御手法を提案し，その評価を行った．今
後は本実験の結果を元に，アシスト制御パラメータの
学習システムの提案を行う．
実験
体重約 65kg の 20 代男性 1 名が約 20kg のパワーア
参考文献
シストスーツを装着し，背中に 15kg の重りを背負いな
[1] 佐藤帆紡, 川畑共良, 田中文英, 山海嘉之. ロボットスー
ツ HAL による移乗介助動作の支援. 日本機械学会論文
集 C 編 Vol.76 No.762, pp. 227–235, 2010.
がら約 30m の直線距離で歩行を行い，前節で述べたア
シスト制御有りと無しの場合で比較を行う．足裏と背
[2] 佐野和男, 八木栄一, 佐藤元伸. 床反力スイッチと股関節
角度を用いた健常者の歩行意図推定. 日本機械学会論文
集（C 編）Vol.79 No.806, pp. 3487–3500, 2013.
中の力センサをアシスト効果の評価に使用する．力セ
ンサ値の振動が関節角度の目標値に影響するため，力
センサの出力値へのローパスフィルタ処理の有無の比
[3] Takuya Inoue, Shinnosuke Nomura, Yasutake Takahashi, Masayuki Kawai, and Yoshiaki Taniai. Leg
control based on human motion predictionusing motion sensor for power assist suit withoutbinding knee.
In Proceedings of IEEE World Congress on Computational Intelligence 2016, pp. 1720–1726, 2016.
較も行う．実験結果の足裏力センサの Y 軸方向の荷重
値を図 3，背中の力センサの荷重値を図 4 に示す．
支持脚の垂直方向の荷重に関しては，100N 程度軽減
された．図 3 より足を前へ出す，後ろへ引く時の足先
の負荷がアシスト制御により軽減されていることが分
連絡先
〒 910-8507 福井県福井市文京 3 丁目 9 番 1 号
かる．フィルタ有りの場合では，位相遅れによりフィル
タ無しに比べてアシストの追従が遅れている．図 4 よ
りアシストによって装着者の肩への負荷がアシスト制
福井大学 工学部 知能システム工学科
御により 100N 程度軽減されていることが分かる．ま
村井 翔太 (インタラクティブ・ロボティクス研究室)
た，フィルタ使用時では目標角度の振動を除去するこ
E-mail: [email protected]
とで，アシスト効果が大きくなったと考えられる．
67
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
人型ロボットの全身を使った情動的動作が人の協調・利己的行
動決定に及ぼす影響の検証
Case Study of Influence of Emotional Gesture of Humanoid Robot to Human
Decision-Making
⃝ 1 粥川 優騎，
⃝ 1 Yuki Kayukawa,
高橋 泰岳，
1
Yasutake Takahashi,
辻本 拓也,
1
Takuya Tsujimoto,
1
1
福井大学
1
University of Fukui
1
寺田 和憲
Kazunori Terada
2
2
岐阜大学
Gifu University
2
2
Abstract: Conventional studies have suggested that emotion representation of a robot affects human
action decision in human-robot communication. They often use emotion expression by mimicking human
facial expression on a robot, however, emotion expression by no facial expression but the motion of limbs,
LEDs, and audios of a humanoid robot has not been studied for the evaluation of human action decision
effect. This study proposes a finite repeated Prisoner’s Dilemma game with a humanoid robot that shows
emotional motion during the game in order to investigate the effect of the emotional motion of the robot
on cooperative and selfish action decision making of the human individuals. The experimental results are
analyzed to show the strategy changes of the humans according to the emotional motion of the humanoid
robot.
1
はじめに
者で実験を行い検証した [3] が，以下の複数の課題が
挙がった．
近年，人間共生環境下におけるエンターテイメント
• 被験者数の数の少なさによるデータの偏り
• 手動による得点板の更新やロボットを動かすこ
とによるタイムラグ
• 囚人のジレンマゲームにおいてグーとパーを用
いることによる，じゃんけんとの混同の可能性
• NAO がゲームのタイミングを誘導することによ
る平等性の無さ
ロボットや介護ロボットの導入の実証実験が多くなさ
れている．それに伴い，人とロボットが接する機会も
増加し, ロボットにおける対人親和性を高めるための
コミュニケーション能力や人間とのインタラクション
技術の向上が求められている．そのためには，ロボッ
トのもつアピアランスや振る舞いが人に与える影響を
解析しておくことが重要である．エージェントの持つ
アピアランスが人の行動戦略の変化への影響が調べら
本報告ではこれらの課題を解決した実験スキームを新
れている [1]．また，人とロボットがコミュニケーショ
たに設計する．また，情動的動作にはロボットの四肢
ンをとる際，ロボットに感情を付与した情動コミュニ
の動きと音声，目のカラー発光を取り入れる．これら
ケーションの研究が注目されており，特にロボットの
を踏まえ，先行研究同様，人の協調・利己的行動決定へ
表出する情動が人の協調・利己的行動決定に与える影
響を検証する研究がなされている [2]．過去の研究では，
画面上に表示したロボットの顔画像により，ロボット
の影響を調べるため，囚人のジレンマを模した人と人
型ロボットが行うゲームを提案し，これを実装して複
数の被験者を用いて実験を行い，その結果を解析する．
の感情を表現するものが多いが，実際の人型ロボット
による全身による情動的動作が人の協調・利己的行動
2
決定に与える影響を調べたものは少ない．そこで本研
究では，人型ロボットによる情動的動作が人の協調・
利己的行動決定に与える影響について検証する．
囚人のジレンマを模した人とロボットの
ゲーム実験
実 験 に 用 い る 人 型 ロ ボット と し て Aldebaran
Robotics 社の NAO を用いる．被験者と NAO はそ
れぞれ協調「Project Red(P.R)」と裏切り「Project
Blue(P.B)」の 2 つの選択肢（ボタン）を持ち，それ
先行研究として我々は囚人のジレンマを模したゲー
ムを提案し，それをロボットに実装し，１０名の被験
68
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
して「Project Red」または「Project Blue」を選択す
表 1: ゲーム得点表
る．情動的動作の表出の有無による被験者の「協調」
・
ロボット P.G
ロボット P.B
被験者 P.R
（5 点，5 点）
（3 点，7 点）
被験者 P.R
（7 点，3 点）
（4 点，4 点）
「裏切り」行動選択の影響を調べるため，1 試行が終わ
る度，NAO が結果に応じた「喜び」
「怒り」
「悲しみ」
「恥」を表す動作を表出する実験としない実験をそれぞ
れ行う．さらに，情動動作を行うロボットの中でも，お
をお互い同時に出し，その組み合わせによって表 1 に
互い協調できた場合に喜び動作を表す協調的ロボット
従い得点を得る．選択肢の選択には２つのボタンから
と，ロボットが裏切りに成功した場合に喜び動作を表
なる簡単なコントローラを用いて行う．この得点表は
す利己的ロボットの２種類を用意し，計３種類の実験
比較のために文献 [2] と同じものを用いる．
を行う．被験者には３つのうちどれか１つのロボット
とゲームを行い，それらの結果を被験者間で比べ，分
析・考察する．
今現在 (11/4)，９名の被験者によるデータでは，情
動動作なしのロボットを相手にした被験者３名の協調
回数の平均が一番一番高く (11.75 回)，２番目に利己
的ロボット３名 (11 回)，最後に協調的ロボット３名 (5
回) となった．まだデータは少ないが，全体の傾向とし
てロボットの動作有り無しに関わらず被験者たちは自
分の得点を伸ばすことに集中していたと考えられる．
3
図 1: 実験における機材の配置
まとめ
人の協調・利己的行動決定への影響を調べるため，先
行研究による課題を解決した囚人のジレンマを模した
人と人型ロボットが行うゲームを提案した．現在，こ
れを実装して複数の被験者を用いて実験を行い，その
結果を解析中である．今後さらに被験者の数を増やし，
統計処理を施し，
「協調的な情動的動作を伴う方が被験
者は協調を選択する回数が増加する」との仮説を立証
できるか，詳しく解析する．
参考文献
[1] 寺田和憲, 山田誠二, 伊藤昭. ボーナス付きマッチン
図 2: 被験者に提示する画面
グペニーゲームにおける人間からエージェントへの
適応プロセスの解明. 人工知能学会論文誌, Vol. 27,
実験風景を図 1 に示す．被験者は図 1 の手前に座り，
No. 2, pp. 73–81, 2012.
NAO と対面する形でゲームを行う．被験者から見える
位置にモニターを設置し，図 2 に示す内容が画面上に [2] Celso M. de Melo, Peter Carnevale, and Jonathan
Gratch. The Influence of Emotions in Embod表示される．
ied Agents on Human Decision-Making, pp. 357–
ゲームが始まると，画面上のカウントダウンの数字
370. Springer Berlin Heidelberg, Berlin, Heidelが減っていき，被験者と NAO が５秒以内にお互いボタ
berg, 2010.
ンを押す．カウントダウンが終わると，被験者，NAO
のそれぞれの得点の横にお互いどちらのボタンを押し
[3] 粥川優騎, 高橋泰岳, 辻本拓也, 寺田和憲. 人型ロ
ボットによる情動的動作がヒトの協調・利己的行動
決定に及ぼす影響の検証. 第 32 回ファジィシステム
シンポジウム 講演論文集, pp. 1–4, 2016. WA1-1.
たかが表示され，表 1 に従い得点が加算される．得点
は自動的に更新される．その後，Round の数字が１つ
増え，再びカウントダウンが始まる．
この試行を 25 回繰り返し，被験者は高得点を目指
69
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Human Gesture Recognition Using 3D Depth Sensor
for Automatic Mobile Robot
1
⃝Wanfeng Fu1 and Yasutake Takahashi1
Department of Human and Artificial Intelligent Systems
Graduate School of Engineering, University of Fukui
3-9-1, Bunkyo, Fukui, Fukui, 910-8507, Japan
E-mail: {wfu, yasutake}@ir.his.u-fukui.ac.jp
Abstract: This project develops a mobile robot navigation system based on dynamic arm gestures of
human in a real-time. Conventional navigation systems based on a human arm gesture often depends on
static posture of the human instructor. In general, a gesture includes not only static posture of the arm
but also dynamic motion, for example, waving, shacking, and circling a hand. This report focuses on the
human gesture recognition based on dynamic arm motion to navigate an autonomous mobile robot. The
autonomous mobile robot is equipped with 3D depth sensor, ASUS Xtion Pro Live, to detect the body
skeleton of the human instructor. It records sequences of motion of a number of gestures as a gesture
motion database and utilizes it to recognize the given human motion in real-time based on K-Nearest
Neighbor (KNN) method. The autonomous mobile robot follows the human instruction based on the
recognition result. Experiments with a real mobile robot system are conducted to show the validity of the
proposed method.
Keywords- 3D Depth Sensor; Gesture Recognition; Navigation; Motion Database; KNN;
1
Introduction
tion based on dynamic arm motion to navigate an
autonomous mobile robot. The autonomous mobile
robot is equipped with 3D depth sensor, ASUS Xtion
Pro Live, to detect the body skeleton of the human instructor. It records sequences of motion of a number
of gestures as a gesture motion database and utilizes
it to recognize the given human motion in real-time
based on K-Nearest Neighbor (KNN) method. The
autonomous mobile robot follows the human instruction based on the recognition result. Experiments
with a real mobile robot system are conducted to
show the validity of the proposed method.
In recent years, mobile robots have attracted intense research interest because of numerous potential
applications such as transporting and cleaning. The
capability of autonomous navigation is critical for a
mobile robot when performing a wide range of tasks
in urban areas. For example, most affairs in a hospital have been done by human. Intelligent automation
systems in a hospital have been required for manpower reduction and enriching medical services.
Human gesture recognition has been studied so
far because of important applications such as mobile
robot navigation, helping patients based on motion
detection, human motion and behavior analysis and
so on. Moreover, it helps patients with disability to
control robots easily to do what they like to do, such
as, cleaning house, delivering goods and so on.
2
Related Work
Human gesture recognition for navigation have
been researched so far. Takahashi et al. developed
a robot navigation system based on human pointing gesture[1] using a spherical vision system. Vultur et al. realized static gesture recognition for vehicle navigation in a virtual environment [2]. Schneider et al. also developed a gesture recognition system using a 3D depth sensor connected to a computer to detect the gestures and use a fuzzy logic library to process the data obtained in order to control
Conventional gesture recognition systems based on
a human arm gesture often use only static posture of
the human instructor. In general, a gesture includes
not only static posture of the arm but also dynamic
motion, for example, waving, shacking, and circling a
hand.
This report performs the human gesture recogni-
70
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Figure 2 shows the overview of the proposed gesture
recognition system based on k-NN. Gesture recognition based on k-nearest neighbor is that databases
of some model motions are prepared in advance and
the real-time gesture data by 3D depth sensor is recognized based on the databases. This report simply
studies three gesture categories recognition which are
“Stop”, “Go Forward” and “Pointing” motion categories. The data of right hand are used to make
pointing recognition while the data of left hand are
used to make stopping and forward recognition.
the navigation[3]. Another low-cost 3D-depth sensor
based human-computer interaction system using 3D
pointing gesture is presented in [4] that assists visually impaired persons to navigate. Moreover, there
are some human gesture recognition using 3D-depth
sensor based on classification methods [5], artificial
neural network [6] and recognition of signed expressions with visual sequences [7].
Almost conventional gesture recognition systems
are for only static postures of a human demonstrator.
This project aims to use dynamic and static gesture
recognition for automatic mobile robot navigation.
3
The motion database consists of time-sequential
data of angles of elbows and vectors of forearms. The
motion estimation is based on the motion database
complied in advance which includes the angles θt =
(θre , θle ) and vectors Ut = (Urf , Ulf ). Indexes re, le,
rf and lf indicate right elbow joint, left elbow joint,
right forearm and left forearm as shown in Figure 3.
Human Gesture Recognition
3.1
Mobile Robot with 3D-Motion Capture
Device
Our mobile robot equips a 3D-motion capture device to make the robot more intelligent to service
for human like gesture navigation. Figure 1 shows
the mobile robot with the 3D-Motion capture device.
This study uses ASUS Xtion Pro Live device as shown
Fig. 3: Angles of elbow joints and vectors of forearms
for motion database
Fig. 1: Our mobile robot equipped with Xtion Pro
Live
The motion data is defined as sequence of xt =
(θt , Ut ) where t is time. Whole time sequence
data xt (0 < t < T ) is segmented with the window which size is m as (xt , xt+1 , · · · , xt+m ). The
sequence data have three motion categories index
“Stop” cs , “Go Forward” cf , and “Pointing” cp .
One database is for composed of the sequence motion data of m window size and the category index
c
w = (xt , xt+1 , · · · , xt+m , ci ).
in Figure 1. It provides full-body 3D motion capture
and 3D coordinates of human body’s skeletal joints.
3.2
Gesture Recognition based on k-NN
.
.
.
K-NN
.
.. . ..
. . .. .
. . Motion2:Go Forward
. .
.
es
i
rit
ila
.
.. . .
. . .. .
. .
. . Motion1:Stopping
.
.. .
.. .
. . ..
. .
. .
The sequential motion data are divided into three
data sets by the motion categories cs , cf and cp . s w is
composed of the motion data categorized into “Stop”
s
w = (s xt ,s xt+1 , · · · ,s xt+m ). The same as s w, f w
and p w are composed of the motion data categorized
into “Go Forward” and “Pointing” gestures.
sim
Human Motion
Motion3:Pointing
Motion i
Recognition
Phase
Fig. 2: Gesture Recognition Process based on K-NN
71
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Algorithm 1 Calculation of angles and vectors of
human hand to recognize
Set up databases c w, q w, s w, f w and p w from xt
at current time t
c = knn(c wt ,q wt ): c = cs or cf or cp
if c = cs then
recognizes current motion as “Stop” gesture
else if c = cf then
recognizes the “Go Forward” gesture
else if c = cp then
recognizes the “Pointing” gesture
else
recognizes the “No Motion”
end if
Fig. 4: Pointing Position Estimation
the elbow joint A and wrist joint B. The pointed position on the ground C is easily calculated with the
point A and B as shown in Fig. 4. A median filter
is applied to the position estimation of C for the stability. Figure 5 shows one of the typical experimental
results of pointing position recognition.
The human gesture is recognized based on knearest neighbor method using the database c w. Motion data of human at current time t is defined
xt = (θt , Ut ). The sequence data with window size
m is defined q wt = (xt−m , xt−m+1 , · · · , xt ). It calculates normalized euclidean distance dt between one
of the data c w and q wt . The normalized distance is
calculated as below.
d2t = (q wt − c wt )T (q wt − c wt )
(1)
Fig. 5: Estimation Result of Pointing Position
T indicates transposition of the vector. c wt is an arbitrary sequence data in database c w. There is a algorithm about the specific recognition process showed in
the Algorithm 1. It chooses k data with the smallest
distances based on k-nearest neighbor method and extracts a set of category IDs c = (c1 , c2 , · · · , ck ) each of
which is one of the three motion categories. Then the
k-nearest neighbor algorithm outputs one of the categories, that is, cs for category “Stop” if the number
of “Stop” categories in c is greater than the others’
number of “Go Forward” and “Pointing” categories.
3.3
Even though the robot recognize the position
pointed by a human, it have to understand what
he/she want the robot to do with it. Therefore, we
introduce KNN method to recognize human gestures
such as waving, shacking, and circling a hand as follows.
3.4
Autonomous Mobile Robot Navigation
with Obstacle Avoidance
The mobile robot navigates itself based on RFID
system. The robot localizes itself and estimates the
free space around it based on obstacles detection using Laser range finders. Then, the robot chooses the
optimal route by the system based on Markov Decision Process model with the occupancy grid map
meanwhile avoiding obstacles. After confirming the
optimal path has no error, our mobile robot starts to
move along this path to destination. Figure 6 shows
an example of the autonomous navigation with ob-
Position Estimation by Human Pointing
Gesture
Human pointing position is estimated by a simple
calculation. Figure 5 shows that the full-body skeletal
joints are recognized by the motion capture device
and the pointing destination is recognized by human
right hand when point to any places on the ground.
The motion capture device provides coordinates of
72
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
nized successfully to navigate the autonomous mobile
robot in the experiment.
At this moment, the mobile robot can only follow
human gesture on “Stop” and “Go Forward” clearly
because the motion of “Pointing” gesture depends on
where the user likes to point. One of future work is
to increase the variations of the gestures recognition,
not only the three motion categories, and to make
robot follow the use when it recognizes the gestures.
stacle avoidance.
Fig. 6: Autonomous Mobile Robot Navigation
Reference
4
[1] Yasutake Takahashi, Kyohei Yoshida, Fuminori Hibino, and Yoichiro Maeda. Human pointing navigation
interface for mobile robot with spherical vision system. Journal of Advanced Computational Intelligence
and Intelligent Informatics, Vol. 15, No. 7, pp. 869–
877, 2011.
Experiment Result
Experiments with a real mobile robot system are
conducted to show the validity of the gesture recognition system. A human demonstrator shows three gestures including holding, shacking, and circling a hand
to stand for “Stop”, “Go Forward”, and “Pointing”
gestures in front of the mobile robot. Figure 7 shows
a example of how the system recognize the gesture
based on the k-NN. Every gesture were exposed for
about 33 seconds. Gestures “Stop”, “Go Forward”
and “Pointing” are exposed one after another. The k
for k-NN is 40 in this experiment. The KN is more
greater, the better to be recognized. Therefore, Figure 7 shows that the three gesture are recognized correctly.
.
.
.. . .
. . .. .
. .
. .
.
.. .
.. .
. . ..
. .
. .
[2] Oana Mihaela Vultur, Ştefan Gheorghe Pentiuc, and
Andrei Ciupu. Navigation system in a virtual environment by gestures. In Proceedings of International
Conference on Communications (COMM), pp. 111–
114, 2012.
[3] Danilo Giacomin Schneider, Leonardo Lima da Silva,
and Guilherme Sousa Bastos Pedro Diehl, Adriano
Henrique Rossette Leite. Robot navigation by gesture recognition with ros and kinect. 2015 12th Latin
American Robotics Symposium and 2015 Third Brazilian Symposium on Robotic, pp. 145–150, 2015.
[4] Real-time 3d pointing gesture with kinect for objectbased navigation by the visually impaired. In Biosignals and Biorobotics Conference (BRC), 2013 ISSNIP, pp. 1–6, Feb 2013.
[5] Orasa Patsadu, Chakarida Nukoolkit, and Bunthit
Watanapa. Human gesture recognition using kinect
camera. In Computer Science and Software Engineering (JCSSE), 2012 International Joint Conference on,
pp. 28–32, May 2012.
.
.. . ..
. . .. .
. .
. .
50
Stop
Go Forward
Pointing
40
[6] Hairina Mohd Jais, Zainal Rasyid Mahayuddin, and
Haslina Arshad. A review on gesture recognition using
kinect. The 5th International Conference on Electrical
Engineering and Informatics 2015, pp. 594–599, 2015.
KN
30
20
[7] Mariusz Oszust and Marian Wysocki. Recognition of
signed expressions observed by kinect sensor. pp. 220–
225, 2013.
10
0
0
20
40
60
80
100
T[s]
Fig. 7: Experimetal Result of Gesture Recognition
5
Conclusions and Future Work
This paper proposed human gesture recognition
based on k-NN algorithm for navigation of autonomous mobile robot. Three gestures were recog-
73
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
Physical Action Recognition based on Motion Sensor
on Body for Powered Exoskeleton
⃝Xuan Wang1 , Katsuya Sahashi1 , Shinnosuke Nomura1 and Yasutake Takahashi1
1
Department of Human and Artificial Intelligent Systems
Graduate School of Engineering, University of Fukui
3-9-1, Bunkyo, Fukui, Fukui, 910-8507, Japan
E-mail: {xwang, ksahashi, snomura, yasutake}@ir.his.u-fukui.ac.jp
Abstract: This study explores how to achieve the human action recognition in real time based on motion
sensors on a wearer’s body for a powered exoskeleton. We have been developing a powered exoskeleton
controlled by motion sensors so far[1]. We built measurement modules for action recognition based on an
Arduino UNO microcontroller and a motion sensor shield including 3-axis gyroscope, 3-axis accelerometer,
and 3-axis magnetometer. Five measurement modules are put on two lower legs, two upper legs and the
torso of the wearer. Six databases correspond to six types of motions, that is, forward walk, backward
walk, stay, squat, stair climbing and stair descending. The databases contain data of 3-axis accelerations,
3-axis angular velocities, and 3-axis angles. k-NN algorithm is employed for the motion recognition. An
experiment is conducted to show that the six kinds of motions can be recognized appropriately.
1
Introduction
climbing and stair descending. The databases contain
data of 3-axis accelerations, 3-axis angular velocities,
and 3-axis angles. k-NN algorithm is employed for the
motion recognition. An experiment is conducted to
show that the six kinds of motions can be recognized
appropriately.
Physical activity recognition based on wearable
sensors enables to develop novel applications, especially in the area of health care and power assist
system[2]. Recent MEMS technology enables to develop tiny sensors and micro-controllers so that many
types of sensors can be used for wearable devices. Especially, motion sensors including accelerometer, gyroscope, and compass have been widely used in handheld devices. We have been developing a powered exoskeleton controlled by motion sensors so far[1]. The
powered exoskeleton utilizes the motion sensors on
the wearer’s body to detect and recognize the motion of the wearer quickly and assist the motion accordingly in real-time. It needs the accurate physical
action recognition for the power assistance.
2
Motion Recognition based on
Databases and k-NN Algorithm
The system diagram for action recognition is shown
in Figure 1. For action recognition, six databases for
each type of actions are prepared in advance.
In order to implement the physical action recognition in real time accurately, this report uses five
motion measurement units, each of which consists
of an Arduino micro-controller and a motion sensor.
Each motion measurement unit outputs 3-axis accelerations, angular velocities, and estimated angles to
the ground. Five measurement units are put on two
lower legs, two upper legs and the torso of the wearer.
Six databases correspond to six types of motions, that
is, forward walk, backward walk, stay, squat, stair
Fig. 1: System diagram for action recognition
A wearer with five measurement units executes
six kinds of actions about 25 seconds, separately.
The time-series data of the motion sensors of each
action are recorded. The acceleration data are
a = (alt , all , art , arl , aub ). The gyro data are ω =
74
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
seconds→stair climbing 10 steps→stair descending 10
steps. The kN of each action as the experimental result is shown in Figure 3. Figure 3 shows that the
(ωlt , ωll , ωrt , ωrl , ωub ). The angle data are θ =
(θlt , θll , θrt , θrl , θub ). The time-series data are xt =
(a, ω, θ). lt, ll, rt, rl, ub indicate left thigh, left
leg, right thigh, right leg and upper body, respectively. The database is composed of sequential motion data with time window xt (0 ≤ t < T ) where
T is the window size. The databases of each actions is composed of a number of motion sequence
data m dt i = (xt , xt+1 , ...xt+T −1 ) where m and i denote the category of motions and data index, respectively. Motions of forward walk, backward walk, staying, squatting, stair climbing and stair descending are
identified with the indexes f , b, st, sq, sc, and sd, respectively. The databases f dt ,b dt ,st dt ,sq dt ,sc dt , and
sd
dt are acquired as templates for the motion recognition. When the user performs a motion, the sequence
of the real-time data on sensors at the time t, dt , is
measured to compare with six databases obtained respectively. We apply the k-NN algorithm that finds
the k nearest (k is set to 10 in this report) Euclidean
distances for all databases of six actions. The action
with the maximum value of kN is recognized.
3
forward
back
squat
stay
climbing
desending
12
10
kN
8
6
4
2
0
0
5
10 15 20 25 30 35 40 45
time(s)
Fig. 3: The value of kN for six actions
recognition for six kinds of motions is appropriate relatively.
4
Conclusion
In this paper, we implemented six types of physical action recognition in real time based on motion
sensors on a wearer’s body using databases prepared
beforehand and k-NN algorithm appropriately.
In future, we will update the database and tuning
the value of k more in order to make the recognition
more accurately and utilize this action recognition to
control the powered exoskeleton for more suitable assistance of human activity.
Experiment of Action Recognition
We built five measurement units each of which includes a micro controller and a motion sensor. Then
the measurement units are put on the lower body of
the wearer as shown in Figure 2.
References
[1] Takuya Inoue, Shinnosuke Nomura, Yasutake Takahashi, Masayuki Kawai, and Yoshiaki Taniai. Leg
control based on human motion predictionusing motion sensor for power assist suit withoutbinding knee.
In Proceedings of IEEE World Congress on Computational Intelligence 2016, pp. 1720–1726, 2016.
[2] Predrag Klasnja1 and Wanda Pratt. Healthcare in the
pocket: Mapping the space of mobile-phone health
interventions. Journal of Biomedical Informatics,
Vol. 45, pp. 184–198, 2012.
Fig. 2: A wearer with five measurement units
Figure 2 shows that the lower and upper legs are
rotated along the x-axis and moved in y-z plane.
Therefore, the databases are composed of accelerations along the y and z-axis, angular velocities and
angles along the x-axis in the experiment. The sequence of actions for the experiment is that forward 5 steps→back 5 steps→squat 4 times→stay 5
75
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
視線および筋電を用いた全方向車椅子ロボットの指示認識システム
Recognition System of Instructions Used Gaze and Electromyograph
for Omni-directional Wheelchair Robot
前田 陽一郎
Yoichiro Maeda
ものつくり大学
Institute of Technologists
Abstract: In recent years, the research and development of nursing and welfare robots, devices and
systems intended for people with disabilities and elderly have been advanced. The research of the method
to transmit human intentions to the robot by using the biological information of the operator is proceeding.
In this research we propose a method to perform the locomotive control of omnidirectional wheelchair by a
gaze instruction system besed on the human intention estimated by using fuzzy inference, and an instruction
system using electromyogram of operator’s front arm and fuzzy reasoning. We performed the locomotive
experiment using gaze and electromyograph measurement device, and we confirmed that the operator can
perform the locomotive control of wheelchair according to his/her instructions.
1
はじめに
らは筋電位の変化を計測し、そのデータをニューラルネッ
近年、障害者を対象としたヒューマンインタフェースの
トワークに入力信号として与えることによって全方向ポ
研究が盛んに進められている。通常ロボットやメカトロ
インティングメカトロ機器を動かす研究を行っている [4]。
機器を操作する場合、手や足などを用いることによって
また朝生らは筋電位の変化を利用して電動車の走行制御
操縦者の意図を伝えることにより操縦するのが一般的で
を行う研究 [5] などを行っている。
ある。例えば下肢不自由者が移動するために用いられる
そこで本研究では、視覚的顕著性マップモデルと視線
電動車椅子の場合、Joystick 等を用いて意図通りに動か
情報の組み合わせに着目し、人間の目の動きとその人が
している。しかし、手や指などの肢体不自由者は Joystick
見ている風景から生成された行動意図推定をファジィ推
を利用することができない。そのため人間の生体情報を
論により行なう視線教示手法、および操作者の前腕の筋
計測し、そのデータを用いることによってロボットやメ
電位を計測し、その筋電データをファジィ推論で統合す
カトロ機器を操作する研究が進められている。これらの
る手法による二つの全方向車椅子の操作手法を提案した。
研究でロボットやメカトロ機器を操作するために用いら
これらの手法は、脳波よりもノイズがのりにくく、ファ
れる人間の生体情報として、脳波、視線、筋電位などが
ジィ推論を利用することによって、総合的な判断による操
挙げられる。
縦者の意図を反映した操作を行うことが可能となる。こ
脳波を用いたロボットやメカトロ機器を操作する研究
のシステムの有効性を示すために、全方位カメラのパノ
では、田中らが脳波のパターンマッチングを行い、その
ラマ展開画像を用いて全方向車椅子の走行指示認識実験
データを用いてロボットの走行制御を行っている [1]。し
を行ったので、この結果について報告する。
かしながら、脳波には瞬きなどの頭部の表面筋電位の変
化などによるノイズがのりやすく、また計測する際に電
2
視覚的顕著性マップモデル
Koch らは、1985 年に Treisman らの特徴統合理論か
極を装着するのに手間がかかるという問題がある。
視線を用いてロボットやメカトロ機器を操作する研究
ら、個別の特徴はそれぞれに注意を誘導する性質がある
では、岡本らが眼電位を計測することで視線位置を算出
と考え、単一な特徴を符号化し、2 次元マップに表すこと
し、ロボットアームを制御する実験を行っている [2]。ま
で視覚的顕著性マップの概念を提案した [6]。これを Itti
た王らは、目の運動と特性に着目して、操縦者の視線か
らは、1998 年に計算モデルとして実装した [7](図 1 参照)。
ら次に向かいたい場所を推定して、車椅子の走行制御を
図 1 において、処理 (1) では、入力情報 (図 2) を色 (Col-
行う研究を進めている [3]。
筋電位の変化を用いて操縦者の指示をロボットやメカ
ors)・輝度 (Intensity)・方向 (Orientations) の特徴画像と
して出力する。この時、入力画像に対応する画素をその
トロ機器に伝達して動作を行わせる研究としては、福田
周辺の画素に重みを与え足し合わせた結果を出力する空
76
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
input image
Linear filtering
(1)・・・・・・
colors
orientations
intensity
(2)・・
図 2: 入力画像
(3)・・・・ Center-surround
differences and normalization
map
Feature
(4)・・・
(5)・・・・
図 3: 顕著性マップ
12 maps
6 maps
24 maps
Across-scale combinations and normalization
maps
Conspicuity
図 4: 色特徴マップ 図 5: 輝度マップ
(6)・・・・・・・
図 6: 方向マップ
Linear combinations
Saliency map
差分により濃度値の変化量が大きい場所を目立たせる処
図 1: 顕著性マップの処理概要（文献 [7] より転載）
理をするセンターサラウンド処理を行う。処理 (4) では、
色特徴マップが 2 種類の合計 12 マップ、輝度特徴マップ
が 1 種類の合計 6 マップ、方向特徴マップが 4 種類の合
間フィルタを用いている。色情報では、赤色と緑色、青色
計 24 マップが生成される。処理 (5) では、マップにおい
と黄色の補色の関係にある色同士を組み合わせた各 2 つ
て顕著度が高い場所が少ない時は強調を行い、顕著度が
の色特徴マップ RG(σ), BY (σ) を生成する (図 4 参照)。
高い場所が多い時は抑制を行う処理をし、処理 (6) でこ
画像のスケール番号である σ は 0 ∼ 8 までの数値が入る。 れらの特徴マップに重み付けを行い統合することで、顕
輝度情報では、式 (1) のように RGB チャンネルの平均 著性マップができる (図 3 参照)。
を輝度特徴マップ I(σ) として生成する (図 5 参照)。
I(σ)
=
r(σ) + g(σ) + b(σ)
3
3
(1)
方向情報では、0◦ , 45◦ , 90◦ , 135◦ の 4 方向について、
線形フィルタの一種であり、単純な比例関数の代わりにガ
ウス関数を利用したガボールフィルタを用いて式 (2) のよ
うに輝度情報との畳み込み積分をすることで、各 4 つの方
向特徴マップ O(σ, θ) を生成する (図 6 参照)。このとき、
ψ(θ) はガウス関数であり、I(σ, m, n) は σ 番目のスケー
ルの時の画像の (m, n) 座標の輝度、ψ(θ, x − m, y − n) は
(x − m, y − n) の成分、hm と hn はフィルタの幅、θ は
フィルタの回転角を示す。
O(σ, θ)
=
=
hn
本研究では、無意識的な目の動きを抽出する手法とし
て前章で説明した視覚的顕著性マップモデルを利用する。
行動意図推定マップを生成する流れを図 7 に示す。人間の
目が無意識的に向けられやすい場所を示した顕著性マッ
プ (Saliency Map: M sal) と、人間の行動意図が含まれ
ている視線情報を示した視線マップ (Gaze Map: M gaz)
を組み合わせ、ファジィ推論により総合的に判断して行
動意図推定マップ (Intention Map: M int) を構築する。
行動意図を推定するためには人間の無意識的な領域と
意識的な領域について調べる必要がある。そこで図 7 の
ように、注意が向けられやすい領域（無意識的な領域）を
顕著性マップとして実験協力者の視界の範囲を写した映
I(σ) · ψ(θ)
hm
ファジィ推論による行動意図推定
I(σ, m, n)ψ(θ, x − m, y − n) (2)
m=−hm n=−hn
像から生成する。また、実験協力者の意識的な領域は実
際の視線の動き (視線マップ) を基にして生成する。人間
の目の構造から、注視は画像上における画素 1 点を見て
処理 (2) では、各マップについてガウシアンフィルタ
いるものではなくある領域を注目していると考えられる。
を利用して平滑化された画像の解像度が 1/2 倍で順々に
そこで、顕著性マップと視線マップを特定の幅で領域分
フィルタリングされ、ガウシアンピラミッドと呼ばれる
けを行う。最後に、得られた顕著性マップ M sal と視線
合計 9 スケールの画像系列を生成する。処理 (3) では、各
マップ M gaz をファジィ推論の入力情報とし、2 つのマッ
9 マップを 1 つのマップに統合していく上で、スケール間
プを 2 次元座標で表した際に、一致する領域同士につい
77
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
全方向車椅子の
周辺映像を撮る
全方位カメラ
視線計測装置で
操縦者の視線を測る
パノラマ展開画像
実験装置
入力
視線計測装置
解像度640×480
解像度1280×240
パノラマ映像から
操縦者の注視点を基に
視線マップを抽出
パノラマ展開
全方向車椅子
視線マップ
顕著性マップ
図 8: 実験装置の全体図
Saliency map(xi ,yi )
無意識
Gaze map(xi ,yi )
ファジィ推論
意識
線を認識している際には、左右の眼球内に緑色と橙色の
ポインタが各 3 点確認できる。視線認識の際、視線計測
行動意図推定マップ
装置から赤外線 LED の光を照射し、角膜上の光の反射を
用いることで認識の高精度計測を可能としている。
Intention map(xi ,yi )
本研究では、全方向車椅子の特性を最大限に活かすた
図 7: ファジィ推論による行動意図推定マップ生成フロー
めに、入力として人間の着座位置の近傍を中心とした全
方位カメラの映像を用いた。これにより全方位カメラの
映像をパノラマ展開した映像を実験協力者が見ながら後
てファジィ推論を行ない、行動意図推定マップ M int を
方へも移動可能な視線指示認識システムを構築した。
生成する。M sal、M gaz の前件部メンバーシップ関数と
4.2
M int のシングルトンについては紙面の都合上割愛する。
実験方法
今回、実験協力者として 20 代の学生 7 名に協力を依頼
M int の行動意図強度 I を 0 ∼ 255 の数値で定義し、値
が高いほど行動意図が高くなるものとする。
して実験を行った。このうち 2 名は視線計測装置に慣れ
行動意図の考え方を基に、意識的・無意識的な領域の強
みにより全方向車椅子を動作させた場合と提案手法で動
弱における組み合わせ全 25 状態に対して、各状態で行動
作させた場合でアンケートを行って集計し、操作性の向
意図の強さを推定するファジィルールを作成した。推定
上について検証を行った。事前実験により、ファジィ推
の対象は、画像内 (1280 × 240 ピクセル) において 40 × 40
論の各メンバーシップ関数のパラメータ値を決定した。
ており、5 名は慣れていない。この実験において、視線の
ピクセルの大きさで区切られた全 192 の領域ごとにファ
最初、視線の動きを正確に測るため実験協力者にキャ
ジィ推論を行った。領域内の輝度は全ピクセル同一値と
リブレーションを行ってもらった。次に実験時間を 10 分
仮定し、領域の最初の 1 ピクセルを領域の代表ピクセル
として、全方向車椅子を決められた経路に沿って視線に
として推論の入力値とし、出力値である輝度値を領域全
よる指示で動作させる。このときに、入力画像として全
体に反映させる。
方位カメラから全方向車椅子の全周映像を取り込み、こ
4
れをパノラマ展開することで人間にとって視認しやすい
全方向車椅子の視線指示認識実験
映像へと変換する。この変換された映像に顕著性マップ
ここでは、ファジィ推論による行動意図推定手法の有
効性を検証するために、全方向車椅子と全方位カメラ、視
線計測装置を用いた実験について報告する。
4.1
による処理を施し、無意識的に目が向けられやすい場所
を無意識度 Uj (0 ∼ 255 までの実数値, j:領域番号) とし
て顕著性マップを生成する。
実験装置
またパノラマ展開した映像を全方向車椅子前方に取り
図 8 に実験に使用した装置の全体図を示す。本実験に
付けられたディスプレイに画面表示し、その映像を実験
用いた視線計測装置は、非接触視線解析装置 QG-PLUS
協力者に注視してもらう。このときに、視線計測装置で
（株式会社ディテクト社製）を使用した。QG-PLUS が視
実験協力者の注視の動きを 2 次元座標データとして受け
78
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
右へ出力
移動経路
前へ出力
後へ出力
START
左へ出力
後
④
前
停止
計測開始、終了地点
注視地点
推論地点
障害物
⑤
④
:視線の履歴
⑤
b地点
⑦
⑥
⑥
⑦
パノラマ展開画像
図 9: パノラマ展開画像上での視線の動き
視線マップ
(意識度C)
顕著性マップ
(無意識度U)
取り、それを基にして意識的に目が向けられている場所
行動意図推定マップ
(行動意図強度I)
実験結果
を意識度 Cj (0 ∼ 255 までの実数値, j:領域番号) として
無意識度 = 30.5 意識度 = 215.0
無意識度 = 47.9 意識度 = 233.0
無意識度 = 36.5 意識度 = 228.0
無意識度 = 125.0 意識度 = 252.0
行動意図強度 = 235 推論座標(x,y) = (1200,120) 行動意図強度 = 241 推論座標(x,y) = (1240,160) 行動意図強度 = 244 推論座標(x,y) = (1160,120) 行動意図強度 = 222 推論座標(x,y) = (280,120)
図 10: 実験結果（一部）
視線マップを生成する。このとき、値が高いほど無意識
度と意識度は高いものとする。
次に、生成された 2 つのマップをファジィ推論を用い
て合成する。無意識度 Uj を表す顕著性マップはパノラマ
展開画像 (解像度 1280 × 240) から出力され、意識度 Cj
を表す視線マップはパノラマ展開画像を実験協力者に直
接視認してもらった際の出力でありマップサイズは顕著
性マップと同様である。
領域ごとに得られた Uj と Cj を入力としたファジィ推
論により出力された行動意図推定マップ M int の中で、
行動意図強度 I(0 ∼ 255 までの実数値) の最大となる領域
をユーザの意図する目標座標とし、画面に対応する方向
と座標を目的地として全方向車椅子を走行させる。
4.3
5
筋電位を用いたファジィ推論による指示認識
次に、全方向車椅子の走行制御を行うために筋電位の
変化から操縦者の指示認識を行うファジィ推論アルゴリ
ズムと、全方向車椅子の走行制御アルゴリズムについて
説明する。
筋肉は収縮した際に筋電位が変化する。しかしながら、
ある１つの筋肉が手のある方向への動きに対応している
というわけではなく、いくつかの筋肉が収縮することに
よって手が動いている。このような複雑な筋肉の動きか
ら手の動きを識別し、操縦者の指示認識を行うために本
研究ではファジィ推論アルゴリズムを用いる。
実験結果
本実験で計測する筋電位についての説明を行う。筋肉
実験の際の全方向車椅子の移動は、3 つの障害物を迂
の中で表面筋電図法で計測することができ、筋電位の変
回して、初期位置に戻るような経路を課題として与えた。 化が他の筋肉よりも大きい部位は、総指伸筋、尺側手根
参考までに実験室内を自由に車椅子で走行してもらった
伸筋、橈側手根屈筋、短橈側手根伸筋、尺側手根屈筋の 5
結果を図 9 に示した。今回、実験協力者に指示してもらっ
つである。これらの筋肉の中から筋電位を計測する筋肉
た移動経路には目印となる障害物を 3 箇所置き、それを
を選別するため手関節を 8 方向 (上、右上、右、右下、下、
手がかりとして視線のみにより障害物の周りを 1 周して
左下、左、左上) に動かした際の筋電図を取ったところ、
もらう。このとき、全方向車椅子の姿勢は固定して旋回
尺側手根屈筋では手関節を左上に動かした際の判別が難
の動作を省いた。図 10 に実験により得られた結果の一部
しいことが分かったため、総指伸筋 (E1)、尺側手根伸筋
を示す。実験結果において、青の丸印は実験協力者の実
際の注視場所であり、緑の丸印は推定した行動意図の場
(E2)、橈側手根屈筋 (E3)、短橈側手根伸筋 (E4) の筋電
図を取って車椅子の走行制御を行うことを決めた。これ
所である。また、マップにおいて行動意図の推論値が最
ら 4 つの筋肉から筋電位の変化を計測したデータに手関
も高い場所を示したのが緑の丸印であり、その場所の座
節の動きを示したものが図 11 である。
標 (x, y)、U 、C 、I の値が表示されている。
この総指伸筋 (E1)、尺側手根伸筋 (E2)、橈側手根屈筋
実験結果では、左から 3 番目の画像に着目すると、移
動中の自己位置の確認のための無意識な視線の動きを示
(E3)、短橈側手根伸筋 (E4) の４カ所の筋肉は、それぞれ
手の背屈、背屈と尺屈、屈曲と橈屈、背屈と橈屈の動作
しているが、行動意図推定マップを見ると顕著性マップ
を行っている。この筋肉の動作の違いに注目し、総指伸
により値が抑制され、少し前までの視線の方を移動方向
筋 (E1) と橈側手根屈筋 (E3) の筋電データと、尺側手根
として選択できていることが分かる。また、左から 4 番
伸筋 (E2) と短橈側手根伸筋 (E4) の筋電データからそれ
目の画像では視線指示の変更の後であり、同じ場所の注
ぞれ上下と左右の力の割合を推定するファジィ推論ルー
視でも無意識と意識の区別ができている。
ル（紙面の都合により割愛）を構築した。前者のファジィ
79
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
図 11: 筋電位の変化と手関節の動き
図 13: 実験風景
6.1
実験方法
図 12 は実際に実験において電極を貼った場所を示した
画像である。電極で計測された筋電位の変化をパソコン
内に取り込み、パソコン内の 2 つのファジィ推論で手関
節の向きを推定した後、手関節の動きに対応した車椅子
図 12: 電極を装着した筋肉の場所
の動作指令をパソコンから車椅子に出力する。図 13 は実
験風景である。
推論 1 は手の上下の動きを、後者のファジィ推論 2 は手
はじめに本実験における比較実験として行った筋電の
の左右の動きの推定を独立で行うことができ、この２つ
み（ファジィ推論なし）を用いた車椅子の走行制御に関
のファジィ推論の出力結果を用いることで、手関節を動
する説明を行う。電極で計測されたデータをパソコン内
かそうとした方向および操縦者が車椅子に与える走行指
に取り込み、4 カ所 (図 12 参照) から得られたデータを手
示の推定を行う。
関節の動きを推定するプログラムを用いて手関節の動き
総指伸筋 (E1) と橈側手根屈筋 (E3) の筋電データを入
に対応した車椅子の動きをパソコンから出力する。この
力として与えたファジィ推論１からは手の上下方向の動
プログラムでは 4 カ所の筋電データの数値が設定された
きを上方向を正の値として出力する。また尺側手根伸筋
条件に当てはまる場合にのみ、その条件での方向指示が
(E2) と短橈側手根伸筋 (E4) の筋電データを入力として与
えたファジィ推論２からは手の左右方向の動きを右方向
出力される。
を正の値として出力する。前者は手の上下の動きを、後
次に視線のみを用いた車椅子の走行制御についての説明
を行う。本研究で用いた視線計測装置 (QG-PLUS mini、
者は手の左右の動きを、それぞれ推定することができる。 ディテクト社) は、眼球に赤外線を当て、反射した光を中
この２つのデータを統合することにより、手関節を動か 央に取り付けられているカメラを用いて画像データとし
そうとした方向の推定が可能になるので、操縦者の指示
てパソコン内に取り込む。この画像データにおける瞳孔
認識を行うことができる。実験ではこの 2 方向の手の動き
の比率の変化からモニタ上における視線の座標を推定し
の出力結果を用いて全方向電動車椅子の走行制御を行う。 て出力する。この視線計測装置から出力された視線の座
標データを基に操縦者の見ている場所に対応した指令を
6
全方向車椅子の筋電指示認識実験
車椅子に出力することで走行制御を行う。
本研究では、まず筋電データを用いて筋電位の計測を
比較実験の環境としては、筋電を用いる 2 つの手法に
行ない、指示認識に有効な電極位置を検討した。さらに
おいては操縦者に筋電位を計測する右手にボールを軽く
提案手法と筋電位のみ、視線のみを用いた全方向車椅子
握ってもらい、車椅子の肘掛けに両腕の前腕を置いた脱
の走行制御実験において決められた経路の走行時間とア
力状態で実験を行った。視線を用いた走行制御では、操
ンケート結果を比較することで、提案手法の有効性を確
縦者は肘掛けに両腕を置き、車椅子に深く腰掛けて、な
認した。
るべく頭部を動かさないようにして実験を行った。また、
80
日本知能情報ファジィ学会 合同シンポジウム 2016
第25回北信越支部シンポジウム & 第21回人間共生システム研究会
法を提案した。これらの提案手法の有効性を示すために、
筋電のみ、視線のみ、ファジィ推論による提案手法を用
いた場合のそれぞれの車椅子の走行制御実験を行い、走
行時間の計測とアンケートを実施した。
まず視線指示実験では、視線のみで走行制御する実験
(a) 経路 1
と提案手法で走行制御する実験を行い、操作性と疲労度
(b) 経路 2
に関するアンケートを実施し、SD 法により定量化し評価
図 14: 車椅子の走行経路
を行った結果、操作性の向上・ストレスの軽減が確認でき
た。次に筋電指示実験では、走行時間では筋電のみに比
表 1: 筋電位の入力と車椅子の移動方向の出力
車椅子の
移動方向
前進
右斜め前
右
右斜め後ろ
後退
左斜め後ろ
左
左斜め前
平均値
実験参加者 A
筋電
提案
31
46
13
33
35
40
7
21
25
36
5
22
11
27
24
16
19
30
実験参加者 B
筋電
提案
17
21
4
28
40
37
4
36
14
25
2
9
12
25
8
25
13
26
実験参加者 C
筋電
提案
9
13
15
16
14
38
5
8
7
16
6
31
3
18
14
10
9
19
べ、提案手法が速く、アンケート評価の有意差比較より
平均値
筋電
提案
19
27
11
26
30
38
5
22
15
26
4
21
9
23
15
17
14
25
筋電のみや、視線のみに比べて特に快適性や安全性にお
いて提案手法が優れていることが分かった。これによっ
て、筋電データとファジィ推論を用いることで車椅子の
制御を比較的操作者の意思通りに行うことが可能である
ことが示された。また、筋電のみの場合と提案手法によ
る操縦者の指示推定精度を比較した結果、総合的に提案
手法の方が精度が良いことも分かった。
走行実験における車椅子の移動速度はすべて 10(cm/s) の
一定値に設定して実験を行った。走行実験の方法として
は 2 つの経路（図 14 参照）で実験協力者に筋電により全
方向車椅子の走行を行ってもらい、実験後に各経路での
筋電のみと提案手法 (ファジィ推論)、および視線のみで
の操作のしやすさ (操作性)、身体への負担 (快適性)、操
作時の恐怖 (安全性) の 3 項目を 5 段階 (5：最大値、1：
最小値) で評価するアンケートに回答してもらった。アン
ケート結果から提案手法の有効性を評価したが、結果に
ついては紙面の都合上割愛する。
6.2
実験結果
今回提案手法の性能評価実験を行うにあたり、まず、20
代の男性 3 人 (実験参加者 A∼C) に対して筋電のみと提
案手法 (ファジィ推論) を用いて、手関節の動きと車椅子
の走行方向の誤差の確認を行い、その結果の比較を行っ
た。表 1 は 50 回筋電データを計測し、正確に出力できた
回数を示している。これらの結果から、提案手法は誤差
が少なく、筋電のみによる走行制御よりも操縦者の指示
方向に走行していることが分かる。
7
結 言
本研究では、まず視線計測装置と全方位カメラにより、
参考文献
[1] 田中一男, 松永和之, 堀滋樹, “ 移動ロボットの脳動制御, ”
電子情報通信学会論文誌 C, Vol.124, No.3, pp.890-896
(2004)
[2] 岡本丈夫, 佐々木実, 伊藤聡, 竹田幸市, M. I. Rusydi, “ 眼
電図による目視位算出法・瞬目検出法を用いたハンズフリー
ロボットアーム制御, ” 日本 AEM 学会誌, Vol.22, No.2,
pp.238-243 (2014)
[3] M. Wang, Y. Maeda, and Y. Takahashi,“ Saliency Map
for Visual Attention Region Prediction Based on Fuzzy
Neural Network, ” Proceedings of 2014 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE),
pp.1281-1286 (2014)
[4] 福田修, 有田潤, 辻敏夫, “ EMG 信号を利用した全方位型
ポインティングデバイス, ”電子情報通信学会論文誌, D-2,
Vol.J87-D-2, No.10, pp.1996-2003 (2004)
[5] 朝生信一, 佐々木智典, 橋本洋志, 石井千春, “ 周波数成分
を考慮した EMG 信号による電動車駆動, ” 電子情報通信
学会論文誌 C, Vol.127, No.12, pp.2109-2117 (2007)
[6] C. Koch and S. Ullman,“Shifts in selective visual attention: towards the underlying neural circuitry, ” Human
neurobiology, Vol.4, No.4, pp. 219-227 (1985)
[7] L. Itti, C. Koch, and E. Niebur, “ A model of saliencybased visual attention for rapid scene analysis, ” IEEE
Transactions on Pattern Analysis and Machine Intelligence(PAMI), Vol.20, No.11, pp.1254-1259 (1998)
ファジィ推論を用いて人間の意識的・無意識的な視線の
動きから行動意図を推定し、全方向車椅子を走行制御す
るシステムを提案した。さらに、手関節の動きと筋電位
の変化を測定し、操縦者の前腕の筋電データを元にファ
ジィ推論を用いることによって指示方向の意思を推定し、
操作者の意思を全方向車椅子に伝えて走行制御を行う手
81
連絡先
〒 361-0038 埼玉県行田市前谷 333 番地
ものつくり大学 技能工芸学部 製造学科
前田 陽一郎
Tel & Fax : 048-564-3834
E-mail: [email protected]

2016秋・冬のおすすめメニュー

使いたい写真を選ぶ デザインテンプレートを決める 写真

海外たばこパッケージの警告広告

主な諸利率一覧＜2016 年4月1日現在＞

大人のサッカー教室 - ギラヴァンツ北九州

中間配当金支払いについてのお知らせ

ミシュランガイド富山・石川（金沢）2016 特別版

「ミシュランガイド兵庫 2016 特別版」に選ばれました。

題名：静脈疾患における圧迫療法マスターになろう！

特定記録郵便とは