部分空間法研究会 2010
Lectures on Subspace 2010 in conjunction with MIRU2010
2010 年 7 月 26 日 釧路市観光国際交流センター
http://www.cvlab.cs.tsukuba.ac.jp/ subspace/ss2010d/
­部分空間法のフロンティア­
MIRU2010 サテライトワークショップ
主催
共催
部分空間法研究会
実行委員会
画像の認識・理解シンポジウム (MIRU2010)
部分空間法研究会2010
テーマ：部分空間法のフロンティア
日本発の技術である部分空間法の研究会である当研究会は2006 年より活動を開始し，これまで
MIRU, ACCV, ICCVなどのサテライトワークショップとして研究会を開催してきました．本年は
これまでの活動を増強し，初の国内，国際同年開催となります． 国際研究会はニュージーランド
で開催される ACCV2010 のサテライトとして開催し，これまで同様優れた研究発表を募ります．
国内研究会はこれまで着目していなかったパターン認識分野以外への応用，新しい Component
analysis の技術に着目し，応用，技術の両面から部分空間法のフロンティアの発見に資することを
目標に企画しました．
2010 年 7 月 26 日
部分空間法研究会Subspace2010実行委員長 坂野鋭(NTT CS研)
実行委員会
実行委員長 坂野鋭(NTT CS 研)
天野敏之(奈良先端大)，岩村雅一(阪府大)，内田誠一(九大)，大町真一郎(東北大学)，佐藤敦(NEC)，佐
藤真一(NII)，佐藤洋一(東大生研)，玉木徹(広島大学)，福井和広(副委員長, 筑波大学)，堀田政二(東京農
工大)，牧淳人(東芝欧州研)，山口修(東芝)，Bisser Raytchev(広島大学)，河原智一(東芝)
2
部分空間法研究会2010
プログラム
開会の挨拶
坂野鋭(NTT コミュニケーション科学基礎研究所) ．．．．．5p
【招待講演】宇宙機システム監視と部分空間法
矢入健久(東大先端研) ．．．．．7p
異常検知・故障診断は，人工衛星に代表される宇宙機システムの安全性・信頼性を向上させる上で非常に重
要なテーマである．これらのシステムでは一般に，多数のセンサーによって内部状態が監視され，その履歴
データが地上局に蓄積されている．近年，このデータに機械学習やパターン認識の諸技術を応用することに
よって，高度かつ適用範囲の広い異常検知法が実現できるのではないかと期待されている．本発表では，こ
のような立場から，部分空間法や次元削減法を応用した講演者らの取り組みを紹介する．
【招待講演】部分空間法を用いたリモートセンシング画像の土地被覆分類
哈斯巴干(ハスバガン)(国環研), 竹内渉(東大生研), 山形与志樹(国環研) ．．．．．17p
土地被覆分類はリモートセンシング画像処理の重要な課題である．土地被覆分類では，土地被覆カテゴリ（ク
ラス）を定義し，トレーニングデータとテストデータを選んでから，画像全体を分類する．リモートセンシ
ング画像はその解像度（50cm 50cm∼4km 4km ピクセル），次元数（数個∼数百バンド），画素ビット（8
ビット∼32 ビット），時系列データ期間などがデータの種類によって異なる．これらのデータセットの特徴
を考慮して，今まで様々な土地被覆分類手法が開発されてきた．
最近の研究では土地被覆分類の選択肢として部分空間法がある．部分空間法では，まずトレーニングデータ
を使用し，カテゴリごとにそのカテゴリを表現できる部分空間を作る．次に，画像ピクセルを各部分空間へ
射影させて，画像全体を分類する．本研究では部分空間法を用いることで，少ないトレーニングデータから
高い分類精度を得られることが分かった．また，画像の次元数が大きいほど，部分空間法が更に有効である
ことが分かった．
リモートセンシングで一番重要なのは，指数関数的に増えるデータ量に対し，必要な情報量を失わないよう
に，いかにして計算コストを節約するかである．研究と応用の両面において，データに対して精度が高くか
つ高速分類できる手法が必要とされている．取り扱いが簡便である部分空間法はこのような高次元，高情報
量のデータ処理に期待される．
【チュートリアル】使ってみよう部分空間法! ‒Eingang堀田政二(東京農工大) , 河原智一(東芝), 坂野鋭(NTT) ．．．．．25p
部分空間法は光学的文字認識装置や顔認識装置などのパターン認識機械で高度に実用的な方法であり，既に
多くの製品が市場で実用化されています．部分空間法には理論的な美しい背景もありますが，その圧倒的な
魅力は「使える」ということにあります．そこで，さらに多くの方々に部分空間法を使ってもらおう，との
願いから 2008 年の部分空間法研究会において「使ってみよう部分空間法-部分空間法体験実習-」を実施し
好評を博しました．今年は，2008 年版の講演をさらにブラッシュアップし，よりわかりやすくいたしまし
た．自由に編集できるプログラム (MATLAB/Octave) を配布しますので，部分空間法をすぐに研究等に応用
することができます．是非この機会に部分空間法に触れてみてください．
【チュートリアル】使ってみよう部分空間法! ‒Ausgang河原智一(東芝), 坂野鋭(NTT), 堀田政二(東京農工大) ．．．．．34p
この 40 年の間に部分空間法は文字認識などの様々な製品に適用され，実用に供されるとともに，多くの改
良が行われ，理論的にも発展してきました．この 10 年ほどの最も大きなトピックスは相互部分空間法の物
体認識などへの適用と再生核による非線形部分空間法の提案です．本チュートリアルでは相互部分空間法と
非線形部分空間法の基礎と様々な改良，そしてどの技術がどの様なところで威力を発揮するかについて事例
を踏まえながら丁寧に解説いたします．
3
部分空間法研究会2010
【チュートリアル】独立成分分析入門 ∼音の分離を題材として∼
澤田宏（NTT）
．．．．．45p
独立成分分析(ICA: Independent Component Analysis)は，線形変換の一種であり，変換後の信号間の独
立性を高めるものである．応用としては，音などの信号がどのように混合されたかを知らなくても，元の信
号を復元できることが挙げられる．本チュートリアルでは，混ぜる音の数の増加と共に統計的性質がどのよ
うに変化していくかを見て，具体的にはその分布が正規分布に近づいていくことを確認する．その後，正規
分布から遠ざける線形変換を繰り返し的に求める方法を説明する．また，実際に IC レコーダを用いて複数人
の同時発話を録音し，独立成分分析により元の発話を復元するデモンストレーションを行う．
【チュートリアル】非負値行列因子分解入門 ∼音響信号処理を題材として∼
亀岡弘和(NTT) ．．．．．53p
自然界には例えば，画素値，度数，パワースペクトルなど非負値で表わされるデータが多い．非負値行列因
子分解(NMF: Non-negative Matrix Factorization) とは，このような非負値データから，データを構成している
要素を取り出すための多変量解析手法の一種であり，画像からの特徴抽出や音源分離など多岐にわたって応
用されている．NMF では主成分分析などと同様，与えられたすべてのデータベクトルを基底ベクトルの線形
結合でできるだけ良く近似できるような基底系をうまく構成することが目的であるが，基底ベクトル，結合
係数のいずれに対しても非負値制約が置かれている点が特徴である．本チュートリアルでは，NMF の興味深
い性質，さまざまな観点からの異なる捉え方，アルゴリズムの導出の仕方などを解説しながら，NMF がどの
ような問題に実際に応用できるのかを音響信号処理を題材として紹介する．
【特別招待講演】音声処理と部分空間法
有木康雄(神戸大学)．．．．．61p
電話がかかってきて話をしている場合，誰からの電話なのか，どのような内容で，先方はどんな感情を持っ
ているのか，人はこうした情報を容易に聞き分けることができる．音声信号には，このような話者情報，音
韻情報，感性情報といった３つの情報が含まれている．音声処理では，これら３つの情報を音声信号から分
離して抽出し，認識することが目的となる．人は，話者が変わっても発話内容や感情を認識できることから，
これら３つの情報は独立に抽出・認識・変換できるはずである．しかし，これら３つの情報を独立に処理す
る方法は，現時点ではまだ確立されていない．
これまでの研究では，話者情報，音韻情報，感性情報は，すべて同じスペクトル空間で表現され，SVM や
GMM，HMM など，それぞれの識別器を構成して認識が行われてきた．しかし，同じスペクトル空間では，
話者情報，音韻情報，感性情報が混然一体となってしまっているため，充分な認識精度が得られない．そこ
で，これら３つの情報を分離する試みとして，話者情報を話者部分空間で表現し話者認識を行う方法が研究
されてきた．また，音声認識においては，HMM の分散共分散行列をより少ないパラメータで表現するため
に，混合主成分分析を用いる方法や，HMM の平均ベクトルをより少ないパラメータで表現するために，部
分空間を用いる方法などが研究されてきた(Subspace GMM)．
音声認識とは異なるが，認識を行うために必要な音響モデルを，スペクトル空間ではなく部分空間において
個別の話者に精度よく適応させる方法や，実環境で混入してくる雑音に対して，音声と雑音を部分空間によ
り分離・抽出する方法など，パラメータ削減や主要な特徴の抽出，情報分離などの研究が部分空間を用いて
行われてきた．本講演では，音声認識，話者認識，話者適応，特徴抽出における部分空間の適用方法を概観
し，話者空間，音韻空間，感性空間の独立制御の可能性について展望する．
4
部分空間法研究会2010
これまでのお話
Subspace 2010:
An Introduction
Hitoshi Sakano
• Subspace2006 in Conjunction with MIRU2006
– 東北文化学園大学(仙台)
– 特別講演：黒澤さん(東芝)，村瀬先生(名大)
– オーラル・ポスターハイブリッド方式(成功)
• Subspace2007 in Conjunction with ACCV2007
– 東大生研(東京)
• Subspace2008 in Conjunction with MIRU2008
– 軽井沢プリンスホテル
– 特別講演：小川先生(東京福祉大学)
– 部分空間法相談デスク(失敗)
NTT Comm. Sci. Lab.
26th Jul. 2010
• Subspace2009 in Conjunction with ICCV2009
– 京都大学
実行委員会
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Brief History
坂野鋭
天野敏之(NAIST)
岩村雅一(阪府大)：MIRU2010エリアチェア
内田誠一(九大)：MIRU2010出版委員長
大町真一郎(東北大)：MIRU2010エリアチェア
河原智一(東芝)
佐藤敦（NEC)：米国出張中
佐藤真一(NII)：
佐藤洋一(東大生研)：MIRU2010広報委員長
玉木徹(広島大)：MIRU2010若手プログラム委員長
福井和広(副委員長，筑波大)
堀田政二（東京農工大）：若手プログラム招待講演者
牧淳人(東芝欧州研)：英国勤務
山口修(東芝)：MIRU2010財務委員長
Bisser Raytchev(広島大学)
• 60th 複合類似度法（飯島）1，CLAFIC（渡辺）2
• 70th 混合類似度法(飯島)1, 学習部分空間法
（Kohonen)3などの様々な改良．初の実用OCR, ASPET/71発表4．
• 80th 相互部分空間法（前田）5，変動吸収核（村瀬）6．
主として文字認識．
• 90th Eigenface (Turk, SELFICの復活)7, パラメトリック固
有空間法（村瀬）8．相互部分空間法の物体認識への
適用（山口）9，核非線形部分空間法（津田，前田）10,11，
核非線形相互部分空間法（坂野）12，制約相互部分空
間法（福井）13
• 21c 様々な改良，応用範囲の拡大14，15
5
部分空間法研究会2010
State of art
Aims of our Workshop
•X component analysis
•ICA16, PPCA17, Face, Object Recognition
2DPCA18, L1‐PCA19, Visualization, Mining
20
21
22
APCA , NCA , RCA , 23
NMF
Recognition by Image set
•X component analysis
•ICA16, PPCA17, Face, Object Recognition
2DPCA18, L1‐PCA19, Visualization, Mining
20
21
22
APCA , NCA , RCA , 23
NMF
Sawada
Recognition by Image set
×
部分空間
法研究会
Kameoka
×
Various Applications
Hotta
部分空間
法研究会
Various Applications
Ariki, Hasi, Yairi
Subspace…. the final frontier
参考文献
Programme
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
0900‐0910:Introduction,坂野鋭
座長：内田誠一
0910‐1010:宇宙機システム監 視と部分空間法, 矢入健久
1010‐1110:部分空間法を用いたリモートセンシング画像の土地被覆分類，哈斯巴干,竹内渉,山形
与志樹
1110‐1120:Morning Break
座長：福井和広
1120‐1200:使ってみよう部分空間法! –Eingang, 堀田政二，河原智一，坂野鋭
1200‐1300：Lunch
1300‐1400：使ってみよう部分空間法! –Ausgang, 河原智一，坂野鋭，堀田政二
座長：仙田修司
1400‐1500：独立成分分析入門 ～音の分離を題材として～, 澤田宏
1500‐1510：Tea time
座長：佐藤真一
1510‐1610：非負値行列因子分解入門 ～音響信号処理を題材として～: 亀岡弘和
1610‐1620：Coffee break
座長：大和淳司
1620‐1720：音声処理と部分空間法: 有木康雄
1720‐1730：Closing,坂野鋭
飯島泰蔵，パターン認識理論，森北出版，1973
S. Watanabe, N. Pakvasa, ``Subspace method of pattern recognition'', Proc. 1st IJCPR, pp. 25‐32(1973)
エルッキ オヤ,パターン認識と部分空間法,産業図書,(1986)
飯島泰蔵，文字読取装置ASPET/71，テレビジョン 27(3), pp.157‐164, 1973
前田賢一, 渡辺貞一,局所的構造を導入したパターン・マッチング法,電子情報通信学会論文誌 D Vol.J68‐D No.3 pp.345‐352 ,1985
村瀬洋, 木村文隆, 吉村ミツ, 三宅康二,パターン整合法における特性核の改良とその手書き平仮名文字認識への応用,電子情報通信学会論文誌 D Vol.J64‐
D No.3 pp.276‐283, 1981. 村瀬洋，体験談：部分空間法による画像認識，in Proc. Subspace2006, pp.144‐149 が関連文献として興味深い．
7.
M. Turk and A. Pentland ,“Eigenfaces for recognition”. Journal of Cognitive Neuroscience 3 (1): 71–86. 1991
8.
村瀬洋，S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―，電子情報通信学会論文誌 D Vol.J77‐D2 No.11 pp.2179‐2187 ， 1994
9.
山口,福井,前田,「動画像を用いた顔認識システム」,信学技報PRMU97ー50,(1997)
10.
津田宏治，ヒルベルト空間における部分空間法 電子情報通信学会論文誌 D Vol.J82‐D2 No.4 pp.592‐599，1999
11.
前田英作，村瀬洋，カーネル非線形部分空間法によるパターン認識，電子情報通信学会論文誌 D Vol.J82‐D2 No.4 pp.600‐612，1999
12.
坂野鋭， 武川直樹， 中村太一，核非線形相互部分空間法による物体認識，電子情報通信学会論文誌 D Vol.J84‐D2 No.8 pp.1549‐1556，2001
13.
福井和広， 山口修 ，カーネル非線形制約相互部分空間法による物体認識，電子情報通信学会論文誌 D Vol.J88‐D2 No.8 pp.1349‐1356，2005
14.
藤巻遼平,矢入健久,町田和雄,カーネル特徴空間における正準角を利用した宇宙機異常検知法, 人工知能学会全国大会 2A3‐1，2006
15.
Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. Extended Averaged Learning Subspace Method for Hyperspectral Data Classification. Sensors, Vol. 9, No. 6, pp. 4247‐4270, Jun. 2009.
16.
Aapo Hyvaerinen, Juha Karhunen, Erkki Oja, Independent Component Analysis ，Academic press,(2001)
17.
M. I. Tipping, C. M. Bishop, Probabilistic Principal component analysis, Journal of the Royal Statistical Society, Series B, 61, Part 3, pp. 611–622.
18.
J. Yang, D. Zhang, A.F. Frangi and J.Y. Yang, Two‐dimensional PCA: A new approach to appearance‐based face representation and recognition, IEEE Trans. Pattern Anal. Machine Intell. 26 (2004) (1), pp. 131–137.
19.
N Kwak, Principal Component Analysis Based on L1‐Norm Maximization, IEEE Trans Pattern Anal Mach Intell. 2008 Sep;30(9):1672‐80.
20.
Xudong Jiang, Asymmetric Principal Component and Discriminant Analyses for Pattern Classification, IEEE Trans. PAMI, vol. 31 no. 5, pp. 931‐937,2009
21.
Jacob Goldberger, Sam Roweis, Geoff Hinton, Ruslan Salakhutdinov, Neighborhood Components Analysis, In Proc. NIPS 2005
22.
Y. Koren and L. Carmel. Robust linear dimensionality reduction. In IEEE Trans. Vis. and Comp.Graph., pages 459–470, 2004.
23.
DD Lee, HS Seung, Learning the parts of objects by non‐negative matrix factorization, Nature 401, 788‐791 (21 October 1999)
以下は，部分空間法の参考文献(解説)
1.
坂野鋭，パターン認識における主成分分析 ― 顔画像認識を例として ―，統計数理，第49巻 第１号，pp．23‐42
2.
黒沢由明，部分空間法の今昔（上） : 歴史と技術的俯瞰 : 誕生から競合学習との出会いまで ，情報処理，Vol.49 No.5 ，pp．566‐572
3.
福井和広，部分空間法の今昔（いまむかし）（下） : 最近の技術動向：相互部分空間法への拡張とその応用事例 ，情報処理，Vol.49 No.5., pp．680‐685
1.
2.
3.
4.
5.
6.
6
部分空間法研究会2010
ⷐᣦ
ㇱಽⓨ㑆ᴺ⎇ⓥળ
• ቝቮᯏ䉲䉴䊁䊛䈱⇣Ᏹᬌ⍮໧㗴䈮ኻ䈚䈩䇮ㇱಽ
ⓨ㑆ᴺ䈫䈠䈱㑐ㅪᚻᴺ䉕ㆡ↪䈚䈢⎇ⓥ䉕⚫੺
䈜䉎
ቝቮᯏ䉲䉴䊁䊛⋙ⷞ䈫ㇱಽⓨ㑆ᴺ
• ၮᧄ⊛䈮䈲䇮⸠✵䊂䊷䉺䈎䉌ᱜᏱㇱಽⓨ㑆䉕ቇ
⠌䈚䇮䊁䉴䊃䊂䊷䉺䋨䈍䉋䈶䊁䉴䊃ㇱಽⓨ㑆䋩䈫䈱
〒㔌䋨䉇ᱜḰⷺ䋩䉕⋙ⷞ䈜䉎䈖䈫䈪ታ⃻䈘䉏䉎
᧲੩ᄢቇ䊶వ┵⑼ቇᛛⴚ⎇ⓥ䉶䊮䉺䊷
⍫౉ஜਭ
2010ᐕ7᦬26ᣣ
• ᓟඨ䈪䈲䇮䉲䉴䊁䊛䈱േ⊛․ᕈ䉕⠨ᘦ䈚䈢᜛ᒛ
䋨ㇱಽⓨ㑆หቯᴺ䈫䈱Ⲣว䋩䈮䈧䈇䈩ㅀ䈼䉎
ౝኈ
•
䈲䈛䉄䈮 䌾ቝቮᯏ䊁䊧䊜䊃䊥䈱⇣Ᏹᬌ⍮䈫䈲
•
䋴䈧䈱⎇ⓥ⚫੺
1. ᰴర೥ᷫ䊶ౣ᭴ᚑ䈮䉋䉎ੱᎿⴡᤊ䊁䊧䊜䊃䊥䊂䊷䉺⋙ⷞ
1.䈲䈛䉄䈮
2. 䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎ቝቮᯏ
⇣Ᏹᬌ⍮
䌾 ቝቮᯏ䊁䊧䊜䊃䊥䈱⇣Ᏹᬌ⍮䈫䈲 䌾
3. ㇱಽⓨ㑆หቯᴺ䈮ၮ䈨䈒േ⊛䉲䉴䊁䊛䈱ᄌൻὐᬌ⍮
4. ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎േ⊛䉲䉴䊁䊛䈱ቇ⠌
•
䈍䉒䉍䈮
ᓥ᧪ᛛⴚ䊶⎇ⓥ
⎇ⓥ⢛᥊䋨ቝቮᯏ⇣Ᏹᬌ⍮䊶᡿㓚⸻ᢿ䋩
1. 䊥䊚䉾䊃䉼䉢䉾䉪
• ቝቮ㐿⊒䈱䋲ᄢ⺖㗴䋺
– 䉶䊮䉰䊷䈗䈫䈮਄㒢ਅ㒢⋙ⷞ
– ૐ䉮䉴䊃ൻ
– ା㗬ᕈะ਄
2. 䉣䉨䉴䊌䊷䊃䉲䉴䊁䊛䋨⍮⼂䊔䊷䉴䋩
• ࿎㔍䈮䈜䉎ⷐ࿃
– 䇸⇣Ᏹ੐⽎䇹䈫䇸ళ୥䇹䈱㑐ଥ䉕ᨎ᜼
– ᄙ⒳ዋ㊂㐿⊒ Ј ⚻㛎䊶⍮⼂䈱ਇ⿷
– ㆊ㉃䊶ਇ⏕ቯ䈭ⅣႺ Ј ੐೨⹜㛎䈱㒢⇇
– ㆙㓒ᕈ Ј ⋙ⷞ䊶ୃℂ࿎㔍
3. 䊝䊂䊦䊔䊷䉴䉲䉴䊁䊛
– ቯᕈ䊶ቯ㊂䊝䊂䊦䈮䉋䉎䉲䊚䊠䊧䊷䉲䊢䊮
౒ㅢ໧㗴䋺
• ᡷༀ╷
– ⍮⼂䋨䊦䊷䊦䊶䊝䊂䊦䋩₪ᓧ䊶⛽ᜬ
– ⋙ⷞ▸࿐䈱㒢⇇
– ⥄ᓞ⊛䈭䉲䉴䊁䊛⋙ⷞᛛⴚ䈱㐿⊒
7
部分空間法研究会2010
ቝቮᯏ䊁䊧䊜䊃䊥䋨ᛛⴚ䊂䊷䉺䋩
ᯏ᪾ቇ⠌䈮䉋䉎⇣Ᏹᬌ⍮
䉲䉴䊁䊛ㆇ↪䊶⋙ⷞ䈱䈢䉄䈱䊂䊷䉺
ㆊ෰䊂䊷䉺䈎䉌ᱜᏱ䊝䊂䊦䉕ቇ⠌䈚䇮䊁䉴䊃䊂䊷䉺
䈮฽䉁䉏䉎⇣Ᏹ䊌䉺䊷䊮䉕ᬌ⍮
a.k.a.,ᣂⷙᕈᬌ⍮䇮䋱䉪䊤䉴ಽ㘃
• ⿥㜞ᰴర䋨ᢙ⊖䌾ᢙජ䋩䈱ᤨ♽೉䊂䊷䉺
• ฦ䉰䊑䉲䉴䊁䊛䋨ᆫ൓䇮ផㅴ䇮ᾲ䇮╬䋩䈱ஜᐽ⁁ᘒ
• ᭽䇱䈭‛ℂ㊂䋨᷷ᐲ䇮ⷺㅦᐲ䇮ផജ䇮etc䋩䇮୯䈱⒳㘃
䋨ታᢙ䇮ᢛᢙ䇮䉲䊮䊗䊦䇮OnOff䇮etc.䋩 䋨⇣⒳ᕈ䋩
ၮᧄ⊛䈭ㇱಽⓨ㑆ᴺ䈱⠨䈋ᣇ䉕೑↪䈚䈧䈧䇮᭽䇱䈭ᰴర೥
ᷫ䉝䊦䉯䊥䉵䊛䉕Ყセ
2. 䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎
ቝቮᯏ⇣Ᏹᬌ⍮
ౣ᭴ᚑ⺋Ꮕ
2. ౣ᭴ᚑ䈮䉋䉎ಽᨆน⢻ᕈ
୘೎
ో૕
䉦䊷䊈䊦⋧੕ㇱಽⓨ㑆ᴺ䈱⇣Ᏹᬌ⍮䈻䈱ᔕ↪
⇣Ᏹᐲ䈮ነਈ䈜䉎ᄌᢙ䈱․ቯ
3. ㇱಽⓨ㑆หቯᴺ䈮ၮ䈒േ⊛䉲䉴䊁䊛ᄌൻᬌ⍮
ㇱಽⓨ㑆ౝ䈪䈱䉲䉴䊁䊛䉻䉟䊅䊚䉪䉴䈱⠨ᘦ
3. േ⊛䊝䊂䊦䈻䈱᜛ᒛᕈ
ㇱಽⓨ㑆਄䈪䈱䉻䉟䊅䊚䉪䉴
䊁䉴䊃䊂䊷䉺䈱⋙ⷞ
1. ᰴర೥ᷫ䊶ౣ᭴ᚑ䈮䉋䉎ⴡᤊ䊁䊧䊜䊃䊥⋙ⷞ
ᤤ䊂䊷䉺
ᄛ䊂䊷䉺
⁁ᘒⓨ㑆䈲ૐᰴర
ᱜᏱ䊝䊂䊦䈱ቇ⠌
⚫੺䈜䉎⎇ⓥ੐଀
ⲁ䊂䊷䉺
᷹ⷰᰴర䈲ᢙ⊖䈪䉅ᧄ⾰⊛䈭
䊁䉴䊃䊂䊷䉺
ઍ⴫ᚻᴺ䋺Mahalanobis〒㔌,1classSVM,SVDD,etc.
ㇱಽⓨ㑆ᴺ䉕೑↪䈜䉎䊜䊥䉾䊃
1. ᰴర೥ᷫ䈱วℂᕈ
⸠✵䊂䊷䉺
30
20
20
10
10
4. ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎േ⊛䉲䉴䊁䊛ቇ⠌
f xt , ut wt
xt 1
40
yt
g x t v t
⇣Ᏹᬌ⍮䈎䉌䊝䊂䊦ቇ⠌䈻
0
-10
0
20
10
0
-20
-10
-20
ㇱಽⓨ㑆ᴺ䈮䉋䉎⇣Ᏹᬌ⍮
䊁䉴䊃䊐䉢䊷䉵
⸠✵䊐䉢䊷䉵
YD
⸠✵
䊂䊷䉺
ᱜᏱㇱಽⓨ㑆
䊁䉴䊃
䊂䊷䉺
2.䌛⎇ⓥ੐଀䋱䌝
ᰴర೥ᷫ䊶ౣ᭴ᚑ䈮䉋䉎ⴡᤊ䊁䊧䊜䊃䊥⋙ⷞ
ੇ⒤,⍫౉ஜਭ,ᴡේศિ,↸↰๺㓶,
"ᰴర೥ᷫ䈱ౣ᭴ᚑ⺋Ꮕ䉕↪䈇䈢⇣Ᏹᬌ⍮ᚻᴺ䈱Ყセ",
ੱᎿ⍮⢻ቇળ╙23࿁ో࿖ᄢળ(JSAI2009)
8
YD
⇣Ᏹ!
Y2
Y2
Y1
Y1
ᱜᏱ䈭⸠✵䊂䊷䉺䈏ಽᏓ䈜䉎
䇸ᱜᏱㇱಽⓨ㑆䇹䉕ቇ⠌
䊁䉴䊃䊂䊷䉺䈫䇸ᱜᏱㇱಽⓨ㑆䇹
䈫䈱〒㔌䉕⋙ⷞ
部分空間法研究会2010
೎䈱⷗ᣇ䋨ᰴర೥ᷫ䈫ౣ᭴ᚑ⺋Ꮕ䋩
䊁䉴䊃䊐䉢䊷䉵
⸠✵䊐䉢䊷䉵
ᱜᏱ⸠✵䊂䊷䉺
േᯏ䈫⋡⊛
⋙ⷞ䋨䊁䉴䊃䋩䊂䊷䉺
1. ᦨㄭ䈱㕖✢ᒻᰴర೥ᷫ䉝䊦䉯䊥䉵䊛䈻䈱⥝๧
ᓳర䊂䊷䉺
᷹ⷰᰴర
䋨㜞ᰴర䋩
– 㕖✢ᒻᕈ䈱⠨ᘦ䈲᦭ല䈎䋿
2. 䉪䊤䉴䉺䊥䊮䉫䈫䈱Ყセ䊶Ⲣว
ᰴర೥ᷫ
– 䉲䉴䊁䊛⁁ᘒㆫ⒖䈱ㅪ⛯䊶㔌ᢔᕈ
౮௝
䊕䉝 ᰴర೥ᷫ
ቇ⠌
ㆡ↪
ᰴరᓳర
⁁ᘒᰴర
䋨ૐᰴర䋩
ᰴర೥ᷫ䊂䊷䉺
ᰴరᓳర
Ყセ
3. ᣿␜⊛䈭䇸ౣ᭴ᚑ䇹䈱ലᨐ䈱ᬌ⸽
– 䇸⇣Ᏹᐲ䇹એ਄䈱ᖱႎ䉕ឭଏ䈪䈐䉎䈎䋿
ౣ᭴ᚑ⺋Ꮕ
Ყセ䈚䈢䉝䊦䉯䊥䉵䊛
䋨Ყセᚻᴺ䋱䋩✢ᒻਥᚑಽಽᨆ䋨PCA䋩
1. ✢ᒻਥᚑಽಽᨆ䋨PCA䋩
• ᦨ䉅ၮᧄ⊛䈭䋨✢ᒻ䋩ᰴర೥ᷫ
• ಽᢔᦨᄢ䋨䋽ౣ᭴ᚑ⺋Ꮕᦨዊ䋩✢ᒻ኿ᓇ
• ᄙᄌ㊂⛔⸘⊛䊒䊨䉶䉴▤ℂ䋨MSPC)䈭䈬䈪⇣Ᏹ
ᬌ⍮䈮೑↪
2. 䉦䊷䊈䊦ਥᚑಽಽᨆ䋨KernelPCA䋩
3. ᷙว⏕₸ਥᚑಽಽᨆ䋨MixtureProbabilistic
PCA䋩
– 䌑⛔⸘㊂
4. 䉧䉡䉴ㆊ⒟ẜ࿷ᄌᢙ䊝䊂䊦䋨GaussianProcess
LatentVariableModel䋩
• ⸘▚䉮䉴䊃ዊ
– ⸠✵ᤨ䋺 O(D3)
5. 䊤䊒䊤䉴࿕᦭౮௝ẜ࿷ᄌᢙ䊝䊂䊦䋨Laplacian
Eigenmap LatentVariableMode䋩
• ᕈ⢻⹏ଔ䈱䊔䊷䉴䊤䉟䊮
6. Kmeans䉪䊤䉴䉺䊥䊮䉫
䋨Ყセᚻᴺ䋳䋩ᷙว⏕₸ਥᚑಽಽᨆ䋨MPPCA䋩
䋨Ყセᚻᴺ䋲䋩 䉦䊷䊈䊦ਥᚑಽಽᨆ䋨KPCA䋩
[Tipping&Bishop99]
[Schölkopf 98]
• 䉦䊷䊈䊦䈮䉋䉍PCA䉕㕖✢ᒻൻ
• ⏕₸⊛PCA䋨PPCA䋩䈱ᷙว䊝䊂䊦
• ዪᚲ✢ᒻ䊝䊂䊦
– ․ᓽⓨ㑆䈮䈍䈇䈩ౣ᭴ᚑ⺋Ꮕᦨዊ䈭✢ᒻ኿ᓇ
– ᔅ䈝䈚䉅䇸೥ᷫ䇹䈮䈲䈭䉌䈭䈇
– 㕖✢ᒻ䈭ಽᏓ䉕᛬䉏✢䊶䉺䉟䊦ㄭૃ
– VQPCA䈫䈱㆑䈇䋺ዪᚲᕈ䇮⏕₸䊝䊂䊦
• [Hoffmann07] ⇣Ᏹᬌ⍮䈻䈱ᔕ↪
– 1classSVM╬䈫competitive䋨䈢䈣䈚䇮toyproblem䋩
• 䉪䊤䉴䉺䊥䊮䉫䈫ᰴర೥ᷫ䈱ਛ㑆
• ᷹ⷰⓨ㑆䈪䈱ౣ᭴ᚑ䋨Preimage໧㗴䋩[Kwok03]
Y
F
᷹ⷰⓨ㑆
y  R D c  ^c1 , , cm `, x  R d yˆ  R D
ర䊂䊷䉺
․ᓽⓨ㑆
䉮䊮䊘䊷䊈䊮䊃⇟ภ䋫ᐳᮡ
ᓳర䊂䊷䉺
• EM䉝䊦䉯䊥䉵䊛䈮䉋䉎ቇ⠌
– ೋᦼ⸃↢ᚑ䈮 kmeans೑↪
䉦䊷䊈䊦䈮䉋䉎
㕖✢ᒻ౮௝
9
部分空間法研究会2010
䋨Ყセᚻᴺ䋵䋩
䊤䊒䊤䉴࿕᦭౮௝ẜ࿷ᄌᢙ䊝䊂䊦䋨LELVM)
䋨Ყセᚻᴺ䋴䋩䉧䉡䉴ㆊ⒟ẜ࿷ᄌᢙ䊝䊂䊦
䋨GPLVM䋩
[Lawrence04]
[CarreiraPerpinan07]
• 䉧䉡䉴ㆊ⒟䋨GaussianProcess䋩࿁Ꮻ䉕㕖✢ᒻ
ᰴర೥ᷫ䈮᜛ᒛ
• Laplacian Eigenmap [Belkin03]䈱᜛ᒛ
– LEM:GraphLaplacian䈱࿕᦭ಽ⸃
– 䉦䊷䊈䊦࿁Ꮻ䉕↪䈇䈢outofsample䈱ᰴర೥
ᷫ䊶ౣ᭴ᚑ䊙䉾䊏䊮䉫
– ẜ࿷ᄌᢙ x  R d䈎䉌᷹ⷰᄌᢙ y  R 䈻䈱౮௝䉕
GP䈮䉋䈦䈩⴫⃻
D
• ⏕₸⊛PCA䈱㕖✢ᒻ – ๟ㄝዕᐲ䉕൨㈩ᴺ䈪ᦨᄢൻ
– ⶄᢙ䈱ዪᚲ⸃䈅䉍
– ઁ䈱ᰴర೥ᷫᴺ
䋨PCA,ISOMAP䋩䈮䉋䉎ೋᦼൻ
K y y , y n N
x f y { ¦
n 1
N
yˆ
¦
gx { ¦
n 1
N
nc
K y y, y nc K x x, x n ¦
N
nc
xn
ᰴర೥ᷫ
yn
ౣ᭴ᚑ
K x x, x nc – LEM䈱㐳ᚲ䋨ᄢዪ⸃䋩䉕⛮ᛚ
䌛ታ㛎䋱䌝ⴡᤊA䊋䉾䊁䊥䊷⇣Ᏹ
䋨Ყセᚻᴺ䋶䋩Kmeans 䉪䊤䉴䉺䊥䊮䉫
• 㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱14ᄌᢙ䋨㔚ᵹ䇮᷷ᐲ
╬䋩䈮ㆡ↪
• 䉪䊤䉴䉺䊥䊮䉫䋨ᢎᏧ䈭䈚ಽ㘃ቇ⠌䋩
– (ref.)ᰴర೥ᷫ䋽ᢎᏧ䈭䈚࿁Ꮻቇ⠌
⸠✵䊂䊷䉺
– ẜ࿷ᄌᢙ䋨೥ᷫవ䈱ⓨ㑆䋩䈏ㅪ⛯䈎㔌ᢔ䈎䈱㆑䈇
䊁䉴䊃䊂䊷䉺
• ⸠✵䊂䊷䉺䋺䇸ᱜᏱ䇹䈭
⚂䋲ᣣ㑆䈎䉌1400ὐ
• ᭽䇱䈭䈫䈖䉐䈪⇣Ᏹᬌ⍮䈻䈱
• 䊁䉴䊃䊂䊷䉺 :䇸⇣Ᏹ䇹
䉕฽䉃700ὐ
ᔕ↪੐଀䈅䉍
• 䉪䊤䉴䉺䊷䈱╬ᣇ⊛䈭ಽᏓ䉕
• ฦ䉝䊦䉯䊥䉵䊛䈱䊌䊤
䊜䊷䉺୯䇮⇣Ᏹ್ቯ㑣
୯䈲⸠✵䊂䊷䉺䈪䈱
੤Ꮕᬌቯ䈮䉋䉍᳿ቯ
઒ቯ
䌛ታ㛎䋱䌝ౣ᭴ᚑ䈮ၮ䈒⸵ኈ▸࿐䋨ᄌᢙ䋳䋩
䌛ታ㛎䋱䌝ౣ᭴ᚑ⺋Ꮕ䋨ㇱಽⓨ㑆䈻䈱〒㔌䋩
⇣Ᏹⷐ࿃䈮䇸ㄭ䈇䇹ᄌᢙ䋨byኾ㐷ኅ䋩䈮䈧䈇䈩䈱ౣ᭴ᚑ⚿ᨐ
䉒䈎䉍䉇䈜䈇⇣Ᏹ䈱䈢䉄䇮ో䈩䈱䉝䊦䉯䊥䉵䊛䈪ᬌ⍮น
⸵ኈ䊥䊚䉾䊃䈱᏷䈏䉝䊦䉯䊥䉵䊛䈮䉋䈦䈩⇣䈭䉎
10
部分空間法研究会2010
䌛ታ㛎䋲䌝ౣ᭴ᚑ⺋Ꮕ䋨ㇱಽⓨ㑆䈻䈱〒㔌䋩
䌛ታ㛎䋲䌝ⴡᤊBᄥ㓁㔚ᳰ䊌䊄䊦⇣Ᏹ
• 㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱106ᄌᢙ䈮ㆡ↪
⸠✵䊂䊷䉺
䊁䉴䊃䊂䊷䉺
• ⸠✵䊂䊷䉺䋺䇸ᱜᏱ䇹䈭
⚂3ᣣ㑆䈎䉌2500ὐ
• 䊁䉴䊃䊂䊷䉺 :䇸⇣Ᏹ䇹
䉕฽䉃2ᣣ㑆ᒝ䈎䉌
2000ὐ
• 䊁䉴䊃䊂䊷䉺䈱1100ὐ
ઃㄭ䋨ో૕䈪䈲3600
ὐ䋩䈪৻ㇱ䈱㔚࿶䈏䉇
䉇ૐਅ
᣿⏕䈮ᬌ⍮䈪䈐䈢䈱䈲MPPCA䈱䉂
䌛ታ㛎䋲䌝ౣ᭴ᚑ䈮ၮ䈒⸵ኈ▸࿐䋨ᄌᢙ䋹䋴䋩
⚿ᨐ䈱⠨ኤ
1. 㕖✢ᒻᰴర೥ᷫᚻᴺ䉕૶䈉䊜䊥䉾䊃䈲䈅䉎䈎䋿
– ৻ቯ䈱ലᨐ䈲⹺䉄䉌䉏䉎䈏䇮⸘▚䉮䉴䊃䈮⷗ว䈉
䈎䈬䈉䈎䈲ᓸᅱ
2. 䉪䊤䉴䉺䊥䊮䉫䈮䉋䉎ᣇᴺ䈫䈱㆑䈇䈲૗䈎䋿
– ੱᎿⴡᤊ䈱䉋䈉䈮ㅪ⛯⊛䈭⁁ᘒㆫ⒖䈫㔌ᢔ⊛䊝䊷
䊄ㆫ⒖䉕ᜬ䈧䉲䉴䊁䊛䈪䈲䇮ᰴర೥ᷫ䊶䉪䊤䉴䉺䊥䊮
䉫ਔ⠪䈱ᕈ⾰䉕ᒁ䈐⛮䈓MPPCA䈏ᦨ⦟
3. ౣ᭴ᚑ䈜䉎䊜䊥䉾䊃䈲䋿
– ୘䇱䈱ᄌᢙ䊧䊔䊦䈪䈱⇣Ᏹᬌ⍮䉇⁁ᘒᛠី䊶ේ࿃
⸃ᨆ䈮᦭↪䋨ኾ㐷ኅ䈮䉅ᅢ⹏䋩
ౣ᭴ᚑ䈮䉋䉍୘䇱䈱ᄌᢙ䊧䊔䊦䈪䈱⇣Ᏹ䈲ᬌ⍮น⢻
ၮᧄ䉝䉟䊂䉝
‛ℂ
ᴺೣ
㜞ᰴర䈱
䊁䊧䊜䊃䊥䊂䊷䉺
3.䌛⎇ⓥ੐଀䋲䌝
೙ᓮೣ
䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎
ቝቮᯏ⇣Ᏹᬌ⍮
•
•
䊉䉟䉵
᜔᧤
䈅䉎ㇱಽⓨ㑆䉕ਛᔃ䈮
ᓸዊᄌേ
৻ቯᦼ㑆䈱᷹ⷰ䊂䊷䉺䈏ᒛ䉎ㇱಽⓨ㑆䈲
䈅䉎ઍ⴫ㇱಽⓨ㑆䉕ਛᔃ䈮ᓸዊᄌേ䈜䉎䈲䈝
Ryohei Fujimaki,Takehisa Yairi,KazuoMachida, "AnApproachto
SpacecraftAnomalyDetectionProblemUsing KernelFeatureSpace",
TheEleventhACMSIGKDDInternational ConferenceonKnowledge
DiscoveryandDataMining(KDD05), pp.401410,2005
⮮Ꮞㆯᐔ䋬⍫౉ஜਭ䋬↸↰๺㓶䋬䉦䊷䊈䊦䊍䊦䊔䊦䊃ⓨ㑆䈮䈍䈔䉎
ᱜḰⷺ䉕೑↪䈚䈢ቝቮᯏ⇣Ᏹᬌ⍮ᴺ,╙20࿁ੱᎿ⍮⢻ቇળో࿖ᄢ
ળ੍Ⓜ㓸,2006
ቝቮᯏ䊂䊷䉺䈏᜔᧤䈘䉏䉎ૐᰴరⓨ㑆䈠䈱䉅䈱䉕
Ყセ䈜䉎䈖䈫䋨䋽⋧੕ㇱಽⓨ㑆ᴺ䋩䈪⇣Ᏹᬌ⍮
11
部分空間法研究会2010
ᚻᴺ䈱᭎ⷐ䋺ో૕䈱䊐䊨䊷
⸠✵䊂䊷䉺㓸ว䈱↢ᚑ
䊂䊷䉺
D1
D2
䊁䉴䊃ㇱಽⓨ㑆
DM
N
䊂䊷䉺䉕SlidingWindow䈮䉋䈦䈩䉶䉫䊜䊮䊃ൻ䈚
⸠✵䊂䊷䉺㓸ว{D1,D2..,DM}䉕↢ᚑ䈜䉎
ᱜᏱㇱಽⓨ㑆
․ᓽ䈱᛽಴
ᱜᏱઍ⴫ㇱಽⓨ㑆 䋨RS䋩
ℂᗐ 䋺 ⸠✵䊂䊷䉺䈮ኻ䈚䈩⇣Ᏹᐲ䈏ᦨዊ䈫䈭䉎ㇱಽⓨ㑆
Ј ⋥ធ䈱ᦨㆡൻ䈲࿎㔍
ฦ⸠✵䊂䊷䉺䉰䊑䉶䉾䊃 Dj 䈗䈫䈮䇮KernelPCA
䋨Scholkopf,1998䋩䈮䉋䈦䈩䇮․ᓽⓨ㑆䈮䈍䈔
䉎ਥⷐ䈭ㇱಽⓨ㑆䈱ၮᐩ䉕᳞䉄䉎
W
ၮᐩ
¦D
vkj
j
i ,k
I ( xij )
i 1
Dj 䈱ਥⷐㇱಽⓨ㑆
KDD2005䈪䈲..
✭๺
V
j
j
1
[v
v v ]
j
2
j
m
wkT U k wk
subjectto
SystemBlockDiagram
ࠬ࡜ࠬ࠲
ផജ
• ⇣Ᏹᐲ G :ᱜḰⷺ䈱㊀䉂๺䈪ቯ⟵
6 㕖᷹ⷰ
࡮
probability density
㊀䉂 Qk 䈲╙k࿕᦭୯䈱ᄢ䈐䈘
䈱ᐔဋ䈮Ყ଀䈚䈩᳿ቯ
⸠✵䊂䊷䉺{D1,D2..,DM}䈮䈍䈔䉎
⇣Ᏹᐲ䈱ಽᏓ䈮ၮ䈐⸳ቯ
࡮
ⷺㅦᐲ
ࠪࠬ࠹ࡓ
࠳ࠗ࠽ࡒࠢࠬ
࡮
૏⟎
6
࡮
Alarm
࡮
ㅦᐲ
࡮
6
H
J 1 A11w1
wkT Akk wk
1
wkT Akl wl
0
(l 1, , k 1)
ታ㛎䋺䉲䉴䊁䊛䈫䊂䊷䉺
ᆫ൓
• ⇣Ᏹᐲ䈮㑐䈜䉎⼊ႎ㑣୯
U1w1
ㅙᰴੑᰴ⸘↹ᴺ䋨SQP䋩䈪᳞⸃
6
k 1
䉕ᦨᄢൻ
• ╙ kၮᐩ rk (k>1): ೙⚂ઃ㕖✢ᒻᦨㆡൻ໧㗴
• ઍ⴫ㇱಽⓨ㑆䋨RS䋩䈫䊁䉴䊃ㇱಽⓨ㑆䈱Ꮕ⇣
Ј ᱜḰⷺ Tk 䋨k=1,..,m䋩 䈪⹏ଔ
k
2
• ╙䋱ၮᐩ r1 : ৻⥸ൻ࿕᦭୯໧㗴
v1j
ᱜḰⷺ䈫⇣Ᏹᐲ
k
rk , vkj
න⚐ൻ
v2j
䈚䈎䈚䇮ㇱಽⓨ㑆䈠䈱䉅䈱䉕․ᓽ䈫䈜䉎䈾䈉䈏วℂ⊛
m
j j
k k
j 1
vmj
ਥᚑಽ䊔䉪䊃䊦䈱✢ᒻ⚿ว
¦Q T
¦w v
j 1
M
¦
䋨2䋩╙䋱ၮᐩ䈎䉌㗅䈮 J rk
䉦䊷䊈䊦ⴕ೉䈱࿕᦭୯ಽ⸃䈎䉌
max
G
M
䋨1䋩RSၮᐩ䈏⸠✵ㇱಽⓨ㑆䈱ၮᐩ䈱㊀䉂๺䈪⴫⃻น rk
anomaly metric
12
ᧂ⍮
ቝቮ䉴䊁䊷䉲䊢䊮䈻䈱
䊤䊮䊂䊑䉲䊚䊠䊧䊷䉲䊢䊮
䊶14䉮䊙䊮䊄♽೉
14䈱䉮䊙䊮䊄䈮ኻᔕ
䉴䊤䉴䉺䈻䈱๮઎୯䉕⴫䈜
䊶12᷹ⷰ♽೉
3ᰴరⓨ㑆䈪䈱ቝቮᯏ䈱
⁁ᘒ㊂䋨ᆫ൓䇮ⷺㅦᐲ䇮
૏⟎䇮ㅦᐲ䋩
䉲䊚䊠䊧䊷䉺䈮᡿㓚䉕⊒↢䈘䈞
ᬌ⍮䈜䉎
部分空間法研究会2010
᡿㓚੐଀1䋺ᱜᒏᵄ⊛ᄌേ
᡿㓚੐଀2䋺ផജૐਅ
䎔
ㆡᔕ⊛䮱䮦䮊䮏䮈䭮䮊䭶䰆䮎䯃䮆ዕᐲ
䎕䎑䎘
䎓䎑䎚䎘
䎓䎑䎘
䎔䎑䎘
⇣Ᏹᐲ䈏㜞䈇
䎔
䎓䎑䎘
䎓䎑䎕䎘
䎓
䮎䯃䮆ዕᐲ
䮱䮦䮊䮏୯
¾ALC䈲ᬌ⍮䈮ᄬᢌ
䎓
㑣୯
䎔
䎓䎑䎚䎘
⇣Ᏹᐲ
ផ⒖䈱ᒻ䈏㘃ૃ
⇣Ᏹ⊒↢⋥ᓟ䈮ᬌ⍮
ឭ᩺ᚻᴺ䋺⇣Ᏹᐲ
䊥䊚䉾䊃䉼䉢䉾䉪ဳ䈱⇣Ᏹᬌ⍮ᴺ
ో⥸䈮⸒䈋䉎໧㗴
⇣Ᏹᐲ
䮱䮦䮊䮏୯
䎓䎑䎘
䎔䎓䎓
䎓䎑䎕䎘
䉴䊤䉴䉺ផജ
䎘䎓
¾KFSᴺ䈲ᬌ⍮䈮ᚑഞ
䎓
᡿㓚ේ࿃䈱⸃ᨆ
䉕ᡰេ䈜䉎䈖䈫䈏น⢻
䎚䎘
䎕䎘
¾⇣Ᏹ⊒↢ᓟ䉅ઁ䈱䉴䊤䉴䉺䈏ផജਇ⿷
䉕⵬ቢ䈜䉎䈢䉄ᆫ൓䈲ᄢ䈐䈒ᄌേ䈚䈭䈇
䎕
䮀䮰䮀䮆ផജ
䎚䎘
⇣Ᏹᐲ䈏㜞䈇
ታ㓙䈱⇣Ᏹ䈱ផ⒖
䎘䎓
䎕䎘
䎓
䎓
䎕䎓䎓
䎕䎘䎓
䎖䎓䎓
䊂䊷䉺䈱⴫㕙⊛䈭᜼േ䈮ᄢ䈐䈒
⃻䉏䈭䈇ⶄ㔀䈭⇣Ᏹ䉕ᬌ⍮น⢻
䎔䎓䎓
䎖䎘䎓
ᬌ⍮䉁䈪䈱ᤨ㑆䈲䋬⺋⼊ႎ䈫䈱䊃䊧䊷䊄䉥䊐
੹࿁䈱䊥䊚䉾䊃⸳ቯ䈪䈲⺋⼊ႎ1%
䮀䮰䮀䮆ផജ
䎕䎓䎓
䎕䎘䎓
䎖䎓䎓
䎖䎘䎓
ᤨ♽೉䊂䊷䉺䈱⇣Ᏹ䊶ᄌൻὐᬌ⍮
䋱䋮ㅪ⛯䈜䉎䋲඙㑆䈱䊂䊷䉺䉕↢ᚑ䈜䉎⏕₸ኒᐲಽᏓ䈱ផቯ
䋲䋮䋲䈧䈱⏕₸ኒᐲಽᏓ㑆䈱㕖㘃ૃᐲ䋨〒㔌䋩䉕⹏ଔ
ኻ⽎ᤨೞ
ෳᾖ඙㑆
4.䌛⎇ⓥ੐଀䋳䌝
䊶䊶䊶
䊶䊶䊶
䊶䊶䊶 yt
y
m1 t m
ㇱಽⓨ㑆หቯᴺ䈮ၮ䈒േ⊛䉲䉴䊁䊛ᄌൻᬌ⍮
⹏ଔ඙㑆䋨n䋩
y
䊶䊶䊶 yt 2 yt
t m1
1
•
y
t+1
䊶䊶䊶
䊶䊶䊶
䊶䊶䊶 yt+n 2 yt+n 1 yt+n 䊶䊶䊶
↢ᚑ
Pෳᾖ
y •
yt
Yoshinobu KAWAHARA,Takehisa YAIRI,andKazuo
MACHIDA, ”ChangePointDetectioninTimeSeriesDatabasedon
Subspace Identification”,Proceedingsofthe7thIEEEInternational
Conference onDataMining(ICDM),Omaha,2007,pp.559564
ᴡේ ศિ,⍫౉ ஜਭ,↸↰ ๺㓶, "ㇱಽⓨ㑆ᴺ䈮ၮ䈨䈒ᄌൻὐᬌ⍮
䉝䊦䉯䊥䉵䊛", ੱᎿ⍮⢻ቇળ⺰ᢥ⹹, ╙23Ꮞ2ภ,pp.7685
ᤨೞ
↢ᚑ
䈚䈐䈇୯
P⹏ଔ
y D
Pෳᾖ, P⹏ଔ҇ Pෳᾖѳ P⹏ଔ
ᄌൻ䋨⇣Ᏹ䋩䈭䈚
D
Pෳᾖ, P⹏ଔ㧪 Pෳᾖ P⹏ଔ
ᄌൻ䋨⇣Ᏹ䋩䈅䉍
㬍 䊌䊤䊜䊃䊥䉾䉪䈭䊝䊂䊦䉕ㅙ৻ផቯ䈜䉎ᔅⷐ䈏䈅䉎 䋨⸘▚ㅦᐲ,⴫⃻ജ,etc.䋩
ㇱಽⓨ㑆ᴺ䈮䉋䉎䉝䊒䊨䊷䉼
ၮḰㇱಽⓨ㑆䈱ㆬᛯᴺ䋨ᓥ᧪ v.s.ឭ᩺ᣇᴺ䋩
ᓥ᧪ᣇᴺ
ㆊ෰䈱᷹ⷰ䊂䊷䉺䋨ෳᾖ඙㑆䋩䈏ᒛ䉎ㇱಽⓨ㑆䈮ኻ䈜
䉎䋬ᣂ䈚䈒ᓧ䉌䉏䈢᷹ⷰ䊂䊷䉺䋨⹏ଔ඙㑆䋩䈱〒㔌䈱✚
๺䉕⹏ଔ䈜䉎䋮
ਥᚑಽ䈏ᒛ䉎ⓨ㑆䉕೑↪
㪉㪅 㪟㪸㫅㫂㪼㫃 ⴕ೉䈱․⇣䊔䉪䊃䊦
1.ㆊ෰䋨ෳᾖ඙㑆䋩䈱䊂䊷䉺䉕↪䈇
䈩․ᓽⓨ㑆䋨䊂䊷䉺䈱․ᕈ䉕⴫䈜
ㇱಽⓨ㑆䋩䉕᳞䉄䉎
ᣂ䈚䈒ᓧ䉌䉏䈢䊂䊷䉺
ฦᤨὐ䈱᷹ⷰ䊔䉪䊃䊦 yt
㪈㪅 ਥᚑಽ䊔䉪䊃䊦 [Kanoetal.2004]
YM ( t )T yt yt+1 … yt+M1
᷹ⷰ䊔䉪䊃䊦䈱ㇱಽ೉
[Moskvina&Zhigljavsky2003,Idé&Inoue2005]
yt
yt+1
yt+1
yt+2
…
…
yt+N1
yt+N
T
T
ytT yt+1
… yt+M
1
2.ᣂ䈚䈇䊂䊷䉺䋨⹏ଔ඙㑆䋩䈫
᳞䉄䈢ㇱಽⓨ㑆䈫䈱〒㔌䉕
⹏ଔ䈜䉎
ㆊ෰䋨ෳᾖ඙㑆䋩
yt+k-1 yt+k
…
…
Y k,N
t
USVT
yt+k+N2
Hankelⴕ೉䈱
Ꮐ․⇣䊔䉪䊃䊦䈏
ᒛ䉎ⓨ㑆䉕೑↪
㪊㪅 ᷹ⷰㇱಽ೉䈱ᱜⷙൻ䈘䉏䈢౒ಽᢔⴕ೉
䈱․⇣䊔䉪䊃䊦
䈱䊂䊷䉺
Yp = Yk,N
tYf = Yk,N
t+1
Ј ၮḰ䈫䈭䉎ㇱಽⓨ㑆䉕䈬䈱䉋䈉䈮ㆬᛯ䈜䉎䈎䋿
䋨․䈮䇮䉲䉴䊁䊛䈮䉻䉟䊅䊚䉪䉴䈏䈅䉎႐ว䋩
pp pf 1
Yp
Y T YT
pp pf N1 Yf p f
13
T
1/2 T
f f 1/2f p
pp
ѳ U1S1V1
ឭ᩺ᚻᴺ䈱႐ว
f1/2
U1 S11/2
f
䈱೉䊔䉪䊃䊦
䈏ᒛ䉎ⓨ㑆
䉕೑↪
部分空間法研究会2010
ឭ᩺ᣇᴺ䈮䉋䉎ၮḰㇱಽⓨ㑆䈱ᕈ⾰
Hankel ⴕ೉
…
et+k-1 et+k
1.ᆫ൓ᄌᦝ䊙䊇䊷䊋䋨1,500⑽䋩
2.䊨䊷䊦ゲRW䈱᡿㓚䋨3,500⑽䌾䋩
et+k+N2
䉋䈦䈩䇮 6 U S
12
1 1
| Ok ⚻ᤨ⊛⇣Ᏹ䈱⊒↢
1.ᆫ൓ᄌᦝ䊙䊇䊷䊋䋨1,500⑽䋩
2.䊨䊷䊦ゲRW䈱᡿㓚䋨3,500⑽䌾䋩
ⴕ೉䈱೉䊔䉪䊃䊦䈏ᒛ䉎ⓨ㑆
12
ff
RW䈱䋨಴ജ䋯䉮䊙䊮䊄䋩Ყ䋨᡿㓚₸䋩
䊂䊷䉺
L]Yk,M _ ѳL]Ok _
yk 䋨᷹ⷰㇱಽ೉䋩
ᆫ൓ᄌᦝ
⊒↢䈚䈢䉟䊔䊮䊃䋨ᄌൻ䋩䋺
et+N1
et+N
…
CAk1
yt+k+N2
…
xt , xt+1 ,… , xt+N1 +k䊶
et+1
et+2
…
…
=
et
et+1
PrecessionAngle
ᮨᡆ䈚䈢๟࿁ⴡᤊ
䊉䉟䉵䈮⿠࿃䈜䉎㗄
⁁ᘒ೉
…
…
yt+k-1 yt+k
…
C
CA
ੱᎿⴡᤊ䈏৻ቯ䈱
ᆫ൓䉕଻䈧䉋䈉䈮䋬
3䈧䈱RW䉕↪䈇䈩䋬
ฦゲ䉁䉒䉍䉕೙ᓮ䋮
ਗ䈼䈩 Hankel ⴕ೉
Yk,N (t) 䉕૞䉎䈫
᜛ᄢน᷹ⷰⴕ೉
yt+N1
yt+N
…
yt+1
yt+2
๟࿁ⴡᤊ䈱ᆫ൓ᄌᦝ䊙䊇䊷䊋䊶RW䈱᡿㓚䉕ᮨᡆ䈚䈢䊂䊷䉺䈻ㆡ↪
[Katayama&Picci 1996]
㔌ᢔᤨ㑆✢ᒻ⁁ᘒⓨ㑆䊝䊂䊦
x
t+1 = A x
t + Ke
t y t = C x t + e
t yt
yt+1
ㆡ↪଀䋺 ቝቮᯏ䉲䊚䊠䊧䊷䉲䊢䊮䋨໧㗴⸳ቯ䋩
䈲᜛ᄢน᷹ⷰⴕ೉ Ok 䈱ផቯ୯䈮䈭䉎
f1/2
U1 S11/2
f
*) ᧄ䉲䊚䊠䊧䊷䉲䊢䊮䈲䋬㪧㫉㫀㫅㪺㪼㫋㫆㫅㩷㪪㪸㫋㪼㫃㫃㫀㫋㪼㩷㪪㫐㫊㫋㪼㫄㫊㪃㩷㪠㫅㪺㪅䈱㪤㪘㪫㪣㪘㪙㩷㪪㫇㪸㪺㪼㪺㫉㪸㪽㫋㩷㪚㫆㫅㫋㫉㫆㫃㩷㪫㫆㫆㫃㪹㫆㫏䉕↪䈇䈩૞ᚑ䋮
䈱೉ⓨ㑆䈏ၮḰㇱಽⓨ㑆䈫䈚䈩วℂ⊛
ㆡ↪଀䋺 ቝቮᯏ䉲䊚䊠䊧䊷䉲䊢䊮䋨⚿ᨐ䋩
RW䈱⇣Ᏹ⊒↢
ᄌൻ䈱ᐲว䈇䋨Martin〒㔌䋩
RW䈱⇣Ᏹ䈮䉋䉎
⚻ᤨ⊛ᄌൻ䈮઻䈉਄᣹
ᆫ൓ᄌᦝ䈮䉋䉎
ᄌൻ䈮઻䈉਄᣹
500
1000
1500
2000
2500
3000
3500
5.䌛⎇ⓥ੐଀䋴䌝
4000
ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎㕖✢ᒻേ⊛
䉲䉴䊁䊛ቇ⠌
ᆫ൓೙ᓮ⺋Ꮕ䋨㪩㫆㫃㫃䋩
•
᷹ⷰ䊂䊷䉺䈮⃻䉏䉎ᄌ⺞
•
᷹ⷰ䊂䊷䉺䈮⋥ធᄌ⺞䈏⃻䉏䉎೨䈮䉲䉴䊁䊛䈱േ⊛․ᕈ䈱ᄌൻ䉕ᬌ⍮
ㇱಽⓨ㑆หቯᴺ䈫䈲
MasaoJoko,Yoshinobu Kawahara,Takehisa Yairi, "LearningNonlinear
DynamicalSystemsbyAlignmentofLocalLinear Models",20th
InternationalConferenceonPatternRecognition(ICPR),August,2010.
਄↲᣽㇢,ᴡේศિ,⍫౉ஜਭ, "ዪᚲ✢ᒻ䊝䊂䊦䈱ᢛ೉䈮䉋䉎㕖✢
ᒻ䉲䉴䊁䊛䈱ቇ⠌ᴺ", ╙24࿁ੱᎿ⍮⢻ቇળో࿖ᄢળ(JSAI2010)
CCA䈮ၮ䈒ㇱಽⓨ㑆หቯᴺ
• 1980ᐕઍᓟඨ㗃䈎䉌䉲䉴䊁䊛หቯಽ㊁䈪⊒ዷ
• ᱜḰ⋧㑐ಽᨆ䋨CCA䋩䈮䉋䉎หቯ䌛Akaike76䌝
䌛Larimore83䌝䌛 ጊ04䌝
• ౉಴ജ䊂䊷䉺䈏ᒛ䉎ㇱಽⓨ㑆਄䈮䈍䈔䉎ᐞ૗ቇ⊛
Ṷ▚䈮䉋䉍䋬䊂䊷䉺䉕↢ᚑ䈜䉎⁁ᘒⓨ㑆䊝䊂䊦䋬⁁
ᘒ䊔䉪䊃䊦䉕ផቯ䈜䉎ᣇᴺ
• MOESP,N4SID,CVA(CCA)䈭䈬䋨⛔৻ℂ⺰䈅䉍䋩
• ෳ⠨ᢥ₂ :䌛 ጊ04䌝䈭䈬
• 䇸⁁ᘒ䈫䈲䇮ᧂ᧪䋨ㆊ෰䋩䉕੍᷹䈜䉎䈢䉄䈮ᔅ
ⷐ䈭ㆊ෰䋨ᧂ᧪䋩䈱ᖱႎ䉕❗⚂䈚䈢䉅䈱䇹
Ut-1
N4SIDᴺ䈱⠨䈋ᣇ
䋨䌛 ጊ04䌝䉋䉍䋩
14
Ut-1
Ut
Ut+1 ᧂ᧪
౉ജ
Xt
Xt
Xt+1
ㆊ෰
౉ജ䊶 Yt
಴ജ
Yt
Yt+1 ᧂ᧪
಴ജ
Xt
Y-,U-
U+
Y+
部分空間法研究会2010
ᷙว䊝䊂䊦䈱䉝䊤䉟䊜䊮䊃䈮䉋䉎
ㇱಽⓨ㑆หቯᴺ䈱㕖✢ᒻൻ
CCA䈮ၮ䈒ㇱಽⓨ㑆หቯ䋨⛯䋩
• ✢ᒻ䊝䊂䊦䈱઒ቯ ­ x(t 1) Ax(t ) w(t )
䋨౉ജή䈚䈱႐ว䋩 ®¯ y (t ) Cx(t ) v(t )
1. ዪᚲ✢ᒻ䉝䊤䉟䊜䊮䊃䉝䊒䊨䊷䉼䋨ឭ᩺ᚻᴺ䋩䈮
䉋䈦䈩⁁ᘒ䊔䉪䊃䊦䉕ᓧ䉎
᷹ⷰ䊔䉪䊃䊦 ⋥ធ᷹ⷰ䈘䉏䈭䈇⁁ᘒ䊔䉪䊃䊦
• ㆊ෰䈱᷹ⷰㇱಽ೉䈫ᧂ᧪䈱᷹ⷰㇱಽ೉䈫䈱
ᱜḰ⋧㑐ಽᨆ䋨CCA䋩䈮䉋䉍⁁ᘒ೉䉕ផቯ
­° x (t ) { S V 6
® b
1/ 2 T
°̄ x (t ) { S U 6
T
1/ 2
­ x(t 1) Ax(t ) w(t )
®
¯ y (t ) Cx(t ) v(t )
where
೨ะ䈐䋧ᓟะ䈐⁁ᘒ䊔䉪䊃䊦
f
2. ฦㇱಽⓨ㑆䈮䈍䈇䈩ᦨዊ⥄ਸ਼ᴺ䉕ㆡ↪䈚䇮䉲䉴䊁
䊛ⴕ೉䉕᳞䉄䉎
­ y k (t ) { [ y (t 1)T , y (t 2)T , , y (t k )T ]T
®
T
T
T T
¯ y k (t ) { [ y (t ) , y (t 1) , , y (t k 1) ]
6 ff { E{( y k (t ) P )( y k (t ) P )}
y (t )
y (t )
1 / 2
pp
k
1 / 2
ff
k
6 ff1/ 2 6 fp 6 ppT / 2
䋨᜛
䋨᜛ᒛᚻ㗅䋩
1. CCA䈮ၮ䈨䈒ㇱಽⓨ㑆หቯᴺ䉕⏕₸⊛䈮⸃㉼䈜䉎
2. ᄙ᭽૕ቇ⠌䈱䈵䈫䈧䈪䈅䉎䉝䊤䉟䊜䊮䊃䊔䊷䉴䈱
ᷙว⏕₸䊝䊂䊦ቇ⠌䉝䊒䊨䊷䉼 䉕ㆡ↪䈚䇮㕖✢ᒻ
䈮᜛ᒛ䈜䉎
USV T
• ᦨዊ⥄ਸ਼ᴺ䈮䉋䉍䊌䊤䊜䊷䉺䋨A,C,╬䋩䉕ផቯ
᜛ᒛᚻ㗅1:ㇱಽⓨ㑆หቯᴺ
䈱⏕₸⊛⸃㉼䋨⛯䈐䋩
᜛ᒛᚻ㗅䋱:ㇱಽⓨ㑆หቯᴺ
䈱⏕₸⊛⸃㉼
• 䋨䋪䋩䈲CCA䈱ẜ࿷ᄌᢙ䊝䊂䊦 [Bach&Jordan 06]
䈫৻⥌䇯䉋䈦䈩એਅ䈱䉋䈉䈮ᦠ䈔䉎
• ᤨೞt䈮䈍䈔䉎ᧂ᧪䈱಴ജ䇮ㆊ෰䈱಴ജ䈲
x f (t ) , x b (t ) 䉕↪䈇䈩䇮એਅ䈱䉋䈉䈮⴫䈘䉏䉎
䋨䋪䋩
䈢䈣䈚 䇮
น᷹ⷰⴕ೉
x ~ N (0, I d )
䈲᜛ᄢ
yk | x ~ N ( F1 x, <1 )
yk | x ~ N ( F2 x, <2 )
b
• ㅒ䈮਄ᑼ䈎䉌䇮 x f (t ) , x (t ) 䈲䈠䉏䈡䉏
ㆊ෰䈫ᧂ᧪䈱᷹ⷰ೉䈱චಽ⛔⸘䈪䈅䉎䈖䈫䈏
䉒䈎䉎䇯䈧䉁䉍䇮
­ p ( x f ) p ( x | yk )
®
b
¯ p ( x ) p ( x | yk )
ᱜḰ⋧㑐ಽᨆ䈲䇮䋲⚵䈱㓸ว䈱
㑆䈮ሽ࿷䈜䉎✢ᒻ㑐ଥ䉕᣿䉌䈎
䈮䈜䉎ᄙᄌ㊂⸃ᨆ䈱ᚻᴺ䈪䈅䉍䇮
[BachandJordan06]䈮䉋䈦䈩⏕
₸⊛䈭⸃㉼䈏䈭䈘䉏䈢䇯
ㆊ෰䈱಴ജ
1.5
1
0.5
0
-0.5
-1
-1.5
-2
ẜ࿷ᄌᢙ
(⁁ᘒ䊔䉪䊃䊦)
䊦)
⋡⊛㑐ᢙ
L'
䋨䊕䊅䊦䊁䉞䈧䈐
ኻᢙዕᐲ䋩
c=1
c=2
c=3
c=4
2
䉟䊜䊷䉳࿑
䋨ᷙวⷐ⚛ᢙC=5,ૐᰴర
䋨ᷙวⷐ⚛ᢙC=5,ૐᰴరⓨ㑆䈱ᰴరᢙd=2)
ᧂ᧪䈱಴ജ
᷹ⷰⓨ㑆
ᧂ᧪䈱಴ജ
ૐᰴర⁁ᘒⓨ㑆䈪䈱゠〔䈫ฦᷙวⷐ⚛
䋨ᷙวⷐ⚛䋩
x
ㆊ෰䈱಴ജ
ẜ࿷ᄌᢙ
(⁁ᘒ䊔䉪䊃䊦)
ㆡ↪଀䋱䋺䊝䊷䉲䊢䊮䉨䊞䊒䉼䊞*䈻䈱ㆡ↪
• ⏕₸⊛䈮⸃㉼䈘䉏䈢ㇱಽⓨ㑆หቯᴺ䈮ኻ䈚䈩䇮
ዪᚲ✢ᒻ䊝䊂䊦䈱ᢛ೉䉕⠨䈋䇮ᄢၞ⊛䈭⁁ᘒ
ⓨ㑆䉕᭴▽䈜䉎䋨ᚻ㗅䈲[Verbeek 06]䈮ᓥ䈉䋩
s ẜ࿷ᄌᢙ
x
ቝቮᯏ䈫䈲⋥ធ㑐ଥ䈅䉍䉁䈞䉖䈏..
᜛ᒛᚻ㗅2:ᄙ᭽૕ቇ⠌ᴺ䈱ㆡ↪
䉫䊤䊐䉞䉦䊦䊝䊂䊦
­ p ( x(t 1) | x(t ), s ) N ( P st As x(t ), 6 ts )
®
o
o
¯ p ( y (t ) | x(t ), s ) N ( P s Cs x(t ), 6 s )
2
0
-1
0
1
-2
• GPDM[Wang05]䈱⚿ᨐ䈫㘃ૃ
• ዪᚲ✢ᒻ䈭䈱䈪⸘▚㊂䈏ዋ䈇
• ᢛ೉䈮䉋䉍䇮ዪᚲ䊝䊂䊦䈱䈧䈭
䈑⋡䈏Ṗ䉌䈎
• േ૞䈱ಽ▵ൻ
• ⇣Ᏹᆫ൓䈱ᬌ⍮
ᄢၞ⊛䈭⁁ᘒⓨ㑆
¦ >log p( y (n), y (n)) D(q ( x) || p( x | y (n), y (n))@
n N
n 1
k
k
n
k
k
䊕䊅䊦䊁䉞㗄䋺୘䇱䈱ᷙวಽᏓ䈱ᢛวᕈ䉕䈫䉎೙⚂
* CMUGraphicsLabMotionCaptureDatabase೑↪
15
部分空間法研究会2010
ㆡ↪଀2:ⴡᤊA䊋䉾䊁䊥䊷⇣Ᏹ
• ೨ㅀ䈱㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱14ᄌᢙ䋨㔚ᵹ䇮
᷷ᐲ╬䋩䈮ㆡ↪䋨ዪᚲ䊝䊂䊦ᢙ6,⁁ᘒᰴర5䋩
⸠✵䋧䊁䉴䊃䊂䊷䉺
ౣ᭴ᚑ⺋Ꮕ
6.䈍䉒䉍䈮
䉮䊮䊘䊷䊈䊮䊃ᚲዻ⏕₸ p(s)ಽᏓᄌㆫ
⻢ㄉ
ᧄ⊒⴫䈱䉁䈫䉄
• ᧄ⊒⴫䈪⚫੺䈚䈢⎇ⓥ੐଀䈲䇮એਅ䈱තᬺ↢䊶
࿷ቇ↢䈫䈱౒หᚑᨐ䈪䈅䉍䇮ᧄ⾗ᢱ䈲ᓐ䉌䉋䉍
ឭଏ䈘䉏䈢⾗ᢱ䈮ၮ䈐䉁䈜
• ቝቮᯏ䊁䊧䊜䊃䊥䊂䊷䉺䈱⋙ⷞ䊶⇣Ᏹᬌ⍮䈮ኻ䈚
䈩䇮䋨ᐢ⟵䈱䋩ㇱಽⓨ㑆ᴺ䈲᦭ല䈪䈅䉎
– ᴡේศિ᳁䋨⃻䊶ᄢ㒋ᄢቇ䋩䋺䌛⎇ⓥ੐଀䋱䋬䋳䋬䋴䌝
– ⮮Ꮞㆯᐔ᳁䋨⃻䊶NEC䋩䋺䌛⎇ⓥ੐଀䋲䌝
– ੇ⒤᳁䋨⃻䊶ਃ⪉㔚ᯏ䋩䋺䌛⎇ⓥ੐଀䋱䌝
– ਄↲᣽㇢᳁䋨᧲ᄢ㒮䊶ୃ჻⺖⒟䋲ᐕ䋩䋺䌛⎇ⓥ੐଀䋴䌝
• ౣ᭴ᚑ䊂䊷䉺䈲⇣Ᏹේ࿃䈱⸃ᨆ䈮᦭↪䈭ᖱႎ
䉕ឭଏ䈜䉎
• 䉲䉴䊁䊛䉻䉟䊅䊚䉪䉴䉕⠨ᘦ䈜䉎਄䈪䇮䇸䉅䈉৻䈧
䈱䇹ㇱಽⓨ㑆ᴺ䈪䈅䉎䇸ㇱಽⓨ㑆หቯᴺ䇹䈫䈱
Ⲣว䈏᦭ല䈪䈅䉎
• ⾆㊀䈭ⴡᤊ䊂䊷䉺䉕ឭଏ䈚䈩ਅ䈘䈦䈢JAXA䈮ᗵ
⻢䈚䉁䈜
• 䈭䈍䇮ᧄ⊒⴫䈪⚫੺䈚䈢ቝቮᯏ䈻䈱ㆡ↪੐଀䈲䇮ㆊ෰
䈱ⴡᤊ䊂䊷䉺䇮䉲䊚䊠䊧䊷䉲䊢䊮䊂䊷䉺䉕೑↪䈚䈢੐ᓟ
⸃ᨆ䈪䈅䉍䇮ታ㓙䈱ቝቮ䊚䉾䉲䊢䊮䈪䊥䉝䊦䉺䉟䊛䈮
ⴕ䈦䈢䉅䈱䈪䈲䈅䉍䉁䈞䉖
16
部分空間法研究会2010
ౝኈ
ㇱಽⓨ㑆ᴺࠍ↪޿ߚ࡝ࡕ࡯࠻࠮ࡦࠪࡦࠣ
↹௝ߩ࿯࿾ⵍⷒಽ㘃
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
Subspace method in remote sensing data land cover classification
ࡂࠬࡃࠟࡦ (Hasi Bagan)
࿖┙ⅣႺ⎇ⓥᚲ ࿾⃿ⅣႺ⎇ⓥ࠮ࡦ࠲࡯
┻ౝᷤ
᧲੩ᄢቇ ↢↥ᛛⴚ⎇ⓥᚲ
ጊᒻਈᔒ᮸
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
࿖┙ⅣႺ⎇ⓥᚲ ࿾⃿ⅣႺ⎇ⓥ࠮ࡦ࠲࡯
Subspace 2010
July 26, 2010, Kushiro, Hokkaido
1
2
ౝኈ
1996ᐕ ጊᒻਈᔒ᮸
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࠮࡞ಽ⸃
㊖〝Ḩේߢ‫ޔ‬288࠴ࡖࡦࡀ࡞ߩ⥶ⓨᯏ㜞ᰴరCASI↹௝ࠍ૶ߞߡ‫ޔ‬Ḩ
ේᬀ↢ߩࡒࠢ࠮࡞ಽ⸃ߦᚑഞߒߚ‫ޕ‬
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
2006ᐕ ᣂ੗ᐽᐔ
ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࠮࡞ಽ⸃
ቇ⠌ㇱಽⓨ㑆ᴺࠍࡒࠢ࠮࡞ಽ⸃߳ᔕ↪ߒߚ‫ޕ‬
2008ᐕ ㇱಽⓨ㑆ᴺߦࠃࠆ࿯࿾ⵍⷒಽ㘃
⥶ⓨᯏࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞↹௝㧔48ࡃࡦ࠼ߣ191ࡃࡦ࠼㧕ࠍ૶ߞߡ‫ޔ‬
࿯࿾ⵍⷒಽ㘃ߢߩ᦭ലᕈࠍ⏕⹺‫ޕ‬
࿯࿾ⵍⷒಽ㘃ߢߩ᦭ലᕈࠍ⏕⹺
2009ᐕ ㇱಽⓨ㑆ᴺߩࡄ࡜ࡔ࡯࠲ㆬᛯ
㜞ᰴర↹௝ಽ㘃ߢ‫ޔ‬ㇱಽⓨ㑆ߩᰴరᢙߣࡄ࡜ࡔ࡯࠲ࠍㆡᒰߦㆬᛯߔ
㜞ᰴర↹௝ಽ㘃ߢ
ㇱಽⓨ㑆ߩᰴరᢙߣࡄ࡜ࡔ ࠲ࠍㆡᒰߦㆬᛯߔ
ࠇ߫‫ࠍ࡞ࡊࡦࠨ↪✵⸠ޔ‬ቢోߦ⼂೎ߢ߈ࠆ੐ࠍ᣿ࠄ߆ߦߒߚ‫ޕ‬
2010ᐕ
ᐕ ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹௝ಽ㘃
ⴡ ↹௝ಽ㘃
TM, ASTER╬ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹௝ಽ㘃ߦ᜛ᒛߒߚ‫ⶄޔߦᦝޕ‬
ว㘃ૃᐲᴺ(MSM)ߣㇱಽⓨ㑆ᴺࠍ⚵ߺวࠊߖߚᚻᴺࠍឭ᩺ߒߚ‫ޕ‬
3
4
ౝኈ
ㇱಽⓨ㑆ᴺߩಽ㘃ࠬ࠹࠶ࡊ
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
㪌㪅
㪍
㪍㪅
¾ ࠻࡟࡯࠾ࡦࠣࠨࡦࡊ࡞ࠍㆬ߱
࠻
ࠨ
ࠍㆬ
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
㪧㫆㫃㪸㫉㫀㫄㪼㫋㫉㫀㪺 㪧㪘㪣㪪㪘㪩↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
¾ ࠢ࡜ࠬߩㇱಽⓨ㑆ࠍ૞ࠆ
¾ ↹௝ࡇࠢ࠮࡞ߩ኿ᓇࠍ⸘▚
¾ ಽ㘃࿑ࠍ಴ߔ
x
Select
Training Generate
Projection
training
Subspace for
samples for
each class
eachh class
l
5
900
( i)
P x
Map
o
L(i )
6
17
部分空間法研究会2010
ࡗࠦࡆᣇᴺߢ࿕᦭୯෸߮࿕᦭ࡌࠢ࠻࡞ࠍ⸘▚
౐ࡃ ࠼ ⴡᤊ↹௝ ଀
౐ࡃࡦ࠼TMⴡᤊ↹௝ߩ଀
ታኻ⒓ⴕ೉
න૏ⴕ೉
᳓㧘⍾Ṽ㧘ᬀ↢㧘⨲࿾㧘⵻࿾ߩ੖⒳㘃ߩ࿯࿾ⵍⷒࠢ࡜ࠬࠍ⸳⸘ߒ
ߡ‫ޔ‬ฦࠢ࡜ࠬߏߣߦ50ࡇࠢ࠮࡞ߩࠨࡦࡊ࡞ࠍㆬ߱
ೋᦼ
ᬀ↢ࠍ଀ߣߒߡ‫⋧⥄˜ߩ࡞ࡊࡦࠨޔ‬㑐ⴕ೉ࠍ⸘▚
࿁⋡ߢ㧘㕖ኻⷺߩ୯߇ߦචಽㄭઃ޿ߚߩߢ‫ޔ‬ᓴⅣࠍ஗ᱛ
ࠨࡦࡊ࡞ࡇࠢ࠮࡞1ߩDN୯
࿁
………
…..
1
u
50
X
……………………………
(6, 50)
࿕᦭୯
࿕᦭䊔䉪䊃䊦
(50, 6)
࿕᦭୯ࠍ㒠㗅ߢਗߴࠆ㧦
㪔
^V `
ኻᔕߒߚ࿕
᦭ࡌࠢ࠻࡞
ታኻ⒓⥄⋧㑐ⴕ೉
i, j
ㇱಽⓨ㑆ࠍ૞ࠆ
(6 6)
(6,
7
8
^V `ߩ೨ߩn୘ߩ࿕᦭ࡌࠢ࠻࡞ߢ‫ޔ‬ㇱಽⓨ㑆ࠍ૞ࠆ
ߩ೨ߩn୘ߩ࿕᦭ࡌࠢ࠻࡞ߢ ㇱಽⓨ㑆ࠍ૞ࠆ
ㇱಽⓨ㑆ᴺߩ᜛ᒛ㧦ᐔဋቇ⠌ㇱಽⓨ㑆ᴺ
i, j
^V
i, j
Averaged Learning Subspace Method: ALSM
`
j 1, , n ( n d )
1 S 0( i )
࿕᦭ࡌࠢ࠻࡞ Vi , j ߢ‫ޔ‬i ߪࠢ࡜ࠬߩ⇟ภ‫ޔ‬jߪiࠢ࡜ࠬߩj⇟⋡ߩࡌࠢ
j
j
࠻࡞㧧dߪࡌࠢ࠻࡞ⓨ㑆ߩᰴరߢࡃࡦ࠼ᢙߣ╬ߒ޿‫ޕ‬
ࡇࠢ࠮࡞xߩ኿ᓇࠍ⸘▚‫ޔ‬ಽ㘃࿑ࠍ૞ᚑ
¦[x
Vi , j ]
,
i 1,2, , c
S k(i )
S k(i)1 D
¦x
x E
T
m m
xm  A j
¦x x
T
n n
xn Bi
㓸วAiߪࠢ࡜ࠬ Zߩࠨࡦࡊ࡞ߪ‫ޔ‬
ߩࠨࡦࡊ࡞ߪ
೎ߩࠢ࡜ࠬߦ⺋ಽ㘃ߐࠇߚࠨࡦࡊ࡞ߩ㓸วߢ޽
i
ࠆ‫ ޕ‬㧮iߪ Zi ߦ⺋ಽ㘃ߐࠇߚ೎ߩࠢ࡜ࠬߩࠨࡦࡊ࡞ߩ㓸วߢ޽ࠆ‫ޕ‬
n
f i ( x)
T
ㇱಽⓨ㑆ߩᰴరᢙnࠍ࿕ቯߔࠆ‫ޕ‬n୘ߩਥⷐ࿕᦭୯ߦኻᔕߔࠆ࿕᦭ࡌࠢ࠻
࡞ࠍㇱಽⓨ㑆ߩၮᐩߣߔࠆ‫ޕ‬
2
T
¦ xx
xZ ( i )
2
3 ㇱಽⓨ㑆ߩ࿁ォ㧦੐೨ߦ⸳ቯߒߚ⚳ੌ᧦ઙߦ㆐ߔࠆ߹ߢߣࠍ➅ࠅ㄰ߔ‫ߎޕ‬
ࠇߦࠃߞߡ‫ޔ‬ㇱಽⓨ㑆ߩ㊀ߥࠅࠍᷫࠄߒߡ‫ޔ‬ಽ㘃♖ᐲࠍᡷༀߢ߈ࠆ‫ޕ‬
j 1
ߎߩᑼߪ኿ᓇߩᐔᣇࠍᓧࠄࠇ߹ߔ߇‫▚⸘ޔ‬ㅦᐲࠍ⠨ᘦߒ‫ࠣࡠࡊޔ‬
࡜ࡓߢ኿ᓇߩᦧࠊࠅߦ኿ᓇߩᐔᣇࠍ૶߁
࡜ࡓߢ኿ᓇߩᦧࠊࠅߦ኿ᓇߩᐔᣇࠍ૶߁‫ޕ‬
9
10
ౝኈ
%⸒⺆ߢࠦ࡯࠼ൻߒ‫◲ޔ‬නߦ᜛ᒛߢ߈ࠆ
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
11
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
12
18
部分空間法研究会2010
ࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞↹௝ߪᬀ‛ࠍ඙೎ߢ߈ࠆ
⥶ⓨᯏࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞↹௝
ᬀ‛ߩࠬࡍࠢ࠻࡞෻኿₸ᦛ✢
2006ᐕ7-8᦬‫ޔ‬ౝࡕࡦࠧ࡞ߩ⨲ේߣ⍾Ṽߢߩ⃻࿾᷹㊂
(Source: CGER, NIES)
13
14
‫(ޠ⽎⃻ߩ࠭࡯ࡘࡅޟ‬Hughes
ߩ⃻⽎‫(ޠ‬Hughes phenomenon )
ᰴరᢙࠍᷫࠄߒߡಽ㘃ߔࠆᚻᴺ߇ឭ᩺ߐࠇߡ ࠆ
ᰴరᢙࠍᷫࠄߒߡಽ㘃ߔࠆᚻᴺ߇ឭ᩺ߐࠇߡ޿ࠆ
㧔‫ޟ‬ᰴరߩ๡޿ (curse of dimensionality)‫ޠ‬㧕
1 Principal components analysis (PCA) with conventional
1.
classification methods
Classifiication a
accuracy
y (%)
90
80
2 Spectral
2.
S t l angle
l mapper and
d spectral
t l information
i f
ti
divergence methodsmathematical morphology-based
classification methods
70
Hughes
g
p
phenomenon
60
50
3. Feature selection and feature extraction methods
40
4. Cluster and hierarchical classification methods
30
20
0
5
10
15
20
25
30
35
40
Number of Bands (Features)
15
16
Case study 1
ߎࠇࠄߩᚻᴺߩ․ᓽ
CASI 2 ࠗࡄ ࠬࡍࠢ࠻࡞↹௝ ⨹Ꮉ✚วㆇേ౏࿦ 2003ᐕ
CASI-2ࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞↹௝‫⨹ޔ‬Ꮉ✚วㆇേ౏࿦㧘2003ᐕ
㧕↹௝ߩᰴరࠍ೥ᷫ‫ޔ‬ㆡᒰߥૐᰴరࠍ᭴ᚑߔࠆ
㧕ઁߩಽ㘃ᣇᴺߢ↹௝ࠍಽ㘃ߔࠆ
ᰳὐ
ᣂߚߥૐᰴరࠍ᭴ᚑߔࠆߚ߼ߦᄢ᏷ߦ⸘▚ᤨ㑆ࠍⷐߔ
ࠆ‫ߚ߹ޕ‬ಽ㘃ᚻᴺߦࠃߞߡ⚿ᨐ߇⦟ߊߥ޿႐ว߇޽ࠆ‫ޕ‬
ㇱಽⓨ㑆ᴺ
ᰴర೥ᷫߣಽ㘃ࠍหᤨߦታⴕߔࠆ‫▚⸘ޕ‬ㅦᐲ߇ᣧߊ‫ޔ‬
ಽ㘃♖ᐲ߽㜞޿‫ޕ‬
ಽ㘃♖ᐲ߽㜞޿
(Hasi Bagan et al, IEEE GRSL., 2008)
17
19
18
部分空間法研究会2010
CASI-2ర↹௝㧔Ꮐ㧕‫ޔ‬ㇱಽⓨ㑆ಽ㘃࿑㧔ਛ㧕ߣࠨࡐ࡯࠻ࡌࠢ
࠲࡯ࡑࠪࡦ(Support Vector Machine:SVM)ಽ㘃࿑㧔ฝ㧕ߩᲧセ
ALSMᣇᴺߢಽ㘃
࠻࡟࡯࠾ࡦࠣ࠺࡯࠲߇ቢోߦ⼂೎ߐࠇߚ‫ߩઁޕ‬ಽ㘃ᚻᴺ
㔍
‫ޕ‬
ߢߪ㔍ߒ޿‫ޕ‬
C1
96%
89%
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
unclassified
ㇱಽⓨ㑆ᴺ
CASI-2
19
(RGB = 664, 561, and 470 nm)
Case study 2
SVM
20
࠺࡯࠲ߩⷙᩰൻߣㇱಽⓨ㑆ߩᰴర
ᰴర‫ⷙޔ‬ᩰൻᣇᴺ‫ޔ‬ቇ⠌ࡄ࡜ࡔ࡯࠲ߩᓇ㗀‫ޕ‬224ࡃࡦ࠼
AVIRIS “Indian Pine” data sets (Purdue University)ࠍ૶߁‫ޕ‬
ⷙᩰൻ㧦ࡇࠢ࠮࡞s = (s1, s2, …, sn)Tࠍᱜⷙൻߒߡ㐳ߐࠍ1ߦߔࠆߎߣ‫ޕ‬
[[0,, 1]] ⷙᩰൻ
sc
( s1 / d , s 2 / d , , s i / d ) T
ߎߎߢ‫ޔ‬d = sqrt(s
q ( 12+ s22+…+ sn2)
[-1, 1] ⷙᩰൻ
§
·
n
si m ¨¨ ¦ si m 2 ¸¸
sic
©i
1
1
n
ߎߎߢ‫ ޔ‬m n ¦ si
i 1
0.5
¹
ㇱಽⓨ㑆䈱ᰴర
B d 16 (548 nm))
Band
࿕ቯᰴర㧦ోߡߩㇱಽⓨ㑆߇หߓᰴరࠍขࠆߎߣ
T i i andd test
Training
t t data
d t
࠳ࠗ࠽ࡒ࠶ࠢᰴర㧦ㇱಽⓨ㑆߇੕޿ߦ㆑߁ᰴరࠍขࠆߎߣ
C1 C2
C3
C4
C5 C6
C7 C8
⑳ߚߜߩታ㛎ߢ‫ޔ‬࿕ቯᰴరߩᣇ߇࡝ࡕ
⑳ߚߜߩታ㛎ߢ
࿕ቯᰴరߩᣇ߇࡝ࡕ࡯࠻࠮ࡦࠪࡦࠣ࿯࿾ಽ㘃ߢ♖ᐲ߇
࠻࠮ࡦࠪࡦࠣ࿯࿾ಽ㘃ߢ♖ᐲ߇
㜞޿ߩߢ‫ޔ‬࿕ቯᰴరߛߌࠍ૶߁‫ޕ‬
C9 C10 C11 C12 C13 C14 C15 C16
21
22
(Hasi Bagan et al, Sensors, 2009)
ቇ⠌ࡄ࡜ࡔ࡯࠲ߩᏅߩᓇ㗀
ㇱಽⓨ㑆ߩᰴరߩᓇ㗀
¾ ቇ⠌ࡄ࡜ࡔ࡯࠲ࠍ
ߩᱠวߢჇട‫ޕ‬
ቇ⠌ࡄ࡜ࡔ࡯࠲ߩᏅ㧦DгE
Pk(i , j )
¦ ^s
Pk(i )
Pk(i )1 D
T
i ,l si ,l
si ,l  Z (i ) , si ,l Z ( j )
si ,l
¦P
(i , j )
k
j zi
E
`
¾ ࿕ቯᰴర߇
ߩᤨ ♖ᐲ߇㜞޿
ߩᤨ‫♖ޔ‬ᐲ߇㜞޿‫ޕ‬
¦P
( j ,i )
k
j zi
¾ ᰴరᢙ߇ᄢ߈ߊߥࠆ
߶ߤ ෼᧤㗔ၞߪᐢ
߶ߤ‫ޔ‬෼᧤㗔ၞߪᐢ
ߊߥࠆ‫ޔ߫߃଀ޕ‬
ቇ⠌ ࡜ࡔ ࠲ߩᏅ߇ዊ
ቇ⠌ࡄ࡜ࡔ࡯࠲ߩᏅ߇ዊ
ߐߊߥࠆ߶ߤಽ㘃♖ᐲ߇
㜞ߊߥࠆ‫ޕ‬
D5: [0.27, 0.45]
D9: [0.03, 0.81]
ቇ⠌ࡄ࡜ࡔ࡯࠲ߩᏅ߇ዊ
ߐߊߥࠆ߶ߤోߡߩ࠻
࡟࡯࠾ࡦࠣ࠺࡯࠲ࠍ⼂೎
ߔࠆߚ߼ߩᦨᄢᓴⅣ࿁ᢙ
ߪዋߥߊߥࠆ‫ޕ‬
¾ ᰴరᢙ߇ᄢ߈ߊߥࠆ
ᰴరᢙ ᄢ߈ߊߥࠆ
߶ߤ‫ᦨޔ‬ᄢᓴⅣ࿁ᢙ
ߪዋߊߥࠆ‫ޕ‬
23
24
(Hasi Bagan et al, Sensors, 2009)
20
部分空間法研究会2010
࠻࡟࡯࠾ࡦࠣ࠺࡯࠲ᢙߩᓇ㗀
D6, D E 0.51ߩᤨ‫ޔ‬ಽ㘃⚿ᨐ࿑ߣ♖ᐲ⹏ଔ
50%ߩ࠻࡟࡯࠾ࡦ
ࠣ࠺࡯࠲ߢቇ⠌ߒ
ߡ‫࠻ ࠹ߩߡోޔ‬
ߡ‫࠻ࠬ࠹ߩߡోޔ‬
࠺࡯࠲ߢᬌ⸽ߔࠆ‫ޕ‬
ో࠺࡯࠲૶↪ᤨߣ
ో࠺
࠲૶↪ᤨߣ
หߓ௑ะ߇⷗߃ࠆ‫ޕ‬
ᦝߦ‫ޔ‬ᰴర߇ᄢ߈
ߊߥࠆ߶ߤ‫✵⸠ޔ‬
ᤨ㑆߇⍴ߊߥࠆ‫ޕ‬
C1 C2
C3
C4
C5 C6
C7 C8
C9 C10 C11 C12 C13 C14 C15 C16
U ’ accuracy ffor lland-cover
User’s
d
class
l i:
i
p jj
PPAj
Producer’s accuracy for land-cover class j:
PUAi
p ii
p j
p i
[pij]n㬍n is a confusion matrix, pij is the number of pixels in mapped land cover class i and reference land cover j;
n
p i
¦
p ij
is the number of pixels in mapped land cover class i;
p ij
is the true number of pixels in land cover class j.
j 1
n
25
p j
¦
i 1
26
Case study 1
ౝኈ
㧣ࡃࡦ࠼ߩLandsat
㧣ࡃࡦ࠼ߩL
d t ETM+ ߦኻߔࠆಽ㘃ታ㛎‫ޕ‬
ߦኻߔࠆಽ㘃ታ㛎 20012001
2002ᐕߦ㑐᧲࿾ᣇߢ᠟ᓇߐࠇߚਃߟߩ↹௝ࠍ૶↪ߒߚ‫ޕ‬
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
27
28
ㇱಽⓨ㑆ߦࠃࠆ࿯࿾ⵍⷒಽ㘃࿑
ⴡᤊߦࠃࠆ૑ዬ࿾ vs. ੱญ⛔⸘࠺࡯࠲
unclassified
forest
urban/build up
urban/build-up
paddy
cropland
g
grassland
golf-course
water
ETM ࿯࿾ⵍⷒಽ㘃࿑ߦࠃࠆ૑ዬ࿾
1 Km2 ࡔ࠶ࠪࡘ2005ᐕੱญ⛔⸘࠺࡯࠲
bare soil
࿯࿾ⵍⷒಽ㘃♖ᐲ86㧑
29
30
21
部分空間法研究会2010
ੱญỗჇ
Case study 2
ኻ⽎࿾ၞߣ࠺ ࠲࠮࠶࠻
ኻ⽎࿾ၞߣ࠺࡯࠲࠮࠶࠻
1975
ㄘ࿾Ⴧട
᳓㕙ၞᷫዋ
1987
(䋪: SOMಽ㘃)
1999
31
2007
Water Tree
(Hasi Bagan et al, IEEE JSTARS., 2010)
ᤨ♽೉࿯࿾ⵍⷒ࿑ߩ᜛ᄢ࿑ (a) 1975, (b) 1987, (c) 1999, and (d) 2007 *:ᢥ₂[7]
Crop
Sandy Sparse Grass Urban Bare Wetland
32
⠹࿾㐿ნ౮⌀: (a) Cropland along a river bank, (b) grassland converted to cropland,
(c) and (d) cropland opened in areas of sandy dunes.
ᢥ₂[7]䋬࿑4ෳᾖ
[ ]
(a)
(b)
(c)
33
(d)
34
ㇱಽⓨ㑆ᴺߩᡷ⦟
ᦝߦ‫ᦨޔ‬ㆡߥࡄ࡜ࡔ࡯࠲ࠍ⥄േߢㆬᛯߔࠆᓴⅣ⸘▚ࠍዉ౉ߒߡ‫ޔ‬ᑼ
ࡇࠢ࠮࡞xߩ኿ᓇࠍ⸘▚ߔࠆᤨ‫ޔ‬ᑼ
n
f i ( x)
¦[x
T
Vi , j ] 2
S k(i )
j 1
S k(i)1 D
¦x
x E
T
m m
xm  A j
¦x x
T
n n
xn Bi
ߩઍࠊࠅߦ‫ ޔ‬MSM ᚻᴺࠍ᜛ᒛߒߚਅߩᑼࠍ૶߁
¦O
n
g i ( x)
( j)
i
/ O(i1)
U
g i ( x)
j 1
= 0 ߩᤨCLAFICᴺ‫ޔ‬
ߩᤨCLAFICᴺ ¦O
n
[ x T Vi , j ] 2
( j)
i
/ O(i1)
U
[ x T Vi , j ] 2
j 1
= 1 ߩᤨⶄว㘃ૃᐲᴺ(MSM) ߣߥࠆ
ߩᦨㆡߥD‫ޔ‬Eߣ ࠍ⥄േ⊛ߦㆬࠎߢ‫↹ޔ‬௝ࠍಽ㘃ߔࠆߣ‫ޔ‬ಽ㘃♖ᐲࠍ
ᦝߦะ਄ߢ߈ࠆ‫ޕ‬ᡷༀߒߚㇱಽⓨ㑆ᴺߪ‫ࠍ࠲࡯ࡔ࡜ࡄޔ‬ᚻߢ⺞ᢛߔࠆ
ᚻ㑆ࠍ⋭߈‫ޔ‬ቢో⥄േൻࠍታ⃻ߒߚ‫ޕ‬
1 ਥߥ⸘▚ߪౝⓍ⸘▚ߢ޽ࠅ
1.
ਥߥ⸘▚ߪౝⓍ⸘▚ߢ޽ࠅ‫ޔ‬7ࡃࡦ࠼ߩTMߦኻߒߡ‫࡮✵⸠ޔ‬ಽ㘃
7ࡃࡦ࠼ߩTMߦኻߒߡ ⸠✵࡮ಽ㘃
ߩㅦᐲ߇ㅦ޿
2. ᦨᣂߩ࿕᦭୯ߣ࿕᦭ࡌࠢ࠻࡞⸘▚ᚻᴺࠍ૶߃߽߫ߞߣᣧߊ⸘▚ߢ
߈ࠆ
3. ಽ㘃♖ᐲ߇ᣢሽߩಽ㘃ᚻᴺߣ┹੎ߢ߈ࠆಽ㘃ᣇᴺߢ޽ࠆ
35
36
(Hasi Bagan & Yoshiki Yamagata, PERS., 2010, in press)
22
部分空間法研究会2010
Case study 3
ౝኈ
ㇱಽⓨ㑆ᴺಽ㘃
࿑ߢ‫ߣࠬ࡜ࠢޔ‬
ࠢ࡜ࠬߩႺ⇇✢
ߪߪߞ߈ࠅߒߡ
޿ࠆ‫ޕ‬
ᢥ₂[8] Pl t 5ෳᾖ
ᢥ₂[8]䋬Plate5ෳᾖ
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
ࠨࡐ࡯࠻ࡌࠢ
࠲࡯ࡑࠪࡦ
㧔SVM㧕ߣᦨ
ዕᴺ㧔MLC㧕
ಽ㘃࿑ߣᲧߴࠆ
ߣ‫ޔ‬ㇱಽⓨ㑆ᴺ
ߪࠃࠅᱜߒߊಽ
㘃⚿ᨐࠍᓧߡ޿
㘃⚿ᨐࠍᓧ
ࠆߎߣࠍ⏕⹺ߢ
߈ࠆ‫ޕ‬
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
37
38
2010-03-25 ALOS PALSAR L1.1: HH, HV, VH, VV
PALSAR ࿯࿾ⵍⷒಽ㘃࿑
4஍ᵄ(HH+HV+VH+VV) +
3˜3C h
3˜3Coherencyⴕ೉<T3>
ⴕ೉ T3
<T3>㧦
஍ᵄߩੑᰴ⛔⸘㊂ࠍⷐ⚛
ߣߒߡ‫ޔ‬஍ᵄߩᢔੂࡔࠞ
‫ޔ‬஍
࠾࠭ࡓࠍ⴫⃻ߢ߈ࠆ‫ޕ‬
Banjarmasin
ᝄ᏷ߩ㧠ࡃࡦ࠼ߣ<T3>ߩ9
ⷐ⚛ࠍวࠊߖ߫‫ޔ‬ᖱႎ㊂
߇Ⴧ߃ ಽ㘃♖ᐲࠍᡷༀ
߇Ⴧ߃‫ޔ‬ಽ㘃♖ᐲࠍᡷༀ
ߢ߈ࠆ‫ޕ‬
PALSAR L
Levell 11.1ࡐ࡜࡝ࡔ࠻
1ࡐ࡜࡝ࡔ࠻
࡝ࡕ࡯࠼ߢ‫ޔ‬஍ᵄߩ૏⋧࡮
ᝄ᏷ࠍ⴫ߔߚ߼‫⚛ⶄޔ‬ᢙߢ
⴫⃻ߒߡ޿ࠆ
39
No-value Forest Water Urban Crop Veget-1 Veget-2
2010-03-25 (RGB=HH, VH,VV)
40
ౝኈ
⚿⺰
㪈㪅
㪈
㪉㪅
㪊
㪊㪅
㪋㪅
5.
㪍
㪍㪅
䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
䊥䊝
䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⃻⁁
ㇱಽⓨ㑆ᴺ䈮䉋䉎࿯࿾ⵍⷒಽ㘃䈱઀⚵䉂
䊊䉟䊌䊷䉴䊕䉪䊃䊦↹௝䈻䈱ᔕ↪
䉟䊌 䉴䊕䉪䊃䊦↹௝ 䈱ᔕ↪
䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹௝䈻䈱ᔕ↪
Polarimetric PALSAR↹௝䈻䈱ᔕ↪
⚿⺰䈫੹ᓟ䈱⺖㗴
1 ᭽‫ࡕ࡝ߥޘ‬
1.
᭽‫↹ࠣࡦࠪࡦ࠮࠻࡯ࡕ࡝ߥޘ‬௝ࠍಽ㘃಴᧪ࠆ
࠻࠮ࡦࠪࡦࠣ↹௝ࠍಽ㘃಴᧪ࠆ
ࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞↹௝
ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹௝
࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹௝
Polarimetric PALSARⴡᤊ↹௝
2. ಽ㘃ߩ઀⚵ߺ߇᣿⍎ߢ‫◲ޔ‬නߦታⴕߢ߈ࠆ
࿕᦭୯ߣ࿕᦭
࿕᦭୯ߣ࿕᦭ࡌࠢ࠻࡞ߢㇱಽⓨ㑆ࠍ᭴ᚑ
࠻
ㇱಽⓨ㑆ࠍ᭴ᚑ
⸘▚ߪⴕ೉ᑼߩ⸘▚ߣౝⓍ⸘▚
ಽ㘃ߪ‫ߩ࡞࠮ࠢࡇޔ‬኿ᓇ୯ࠍ᳞߼ࠆߛߌ
41
42
23
部分空間法研究会2010
ෳ⠨ᢥ₂
੹ᓟߩ⺖㗴
Erkki Oji. ࡄ࠲࡯ࡦ⹺⼂ߣㇱಽⓨ㑆ᴺ (ᣣᧄ⺆ ). ↥ᬺ࿑ᦠ㧘1984.
⍹੗ஜ৻㇢㧘਄↰ୃഞ㧘೨↰⧷૞㧘᧛ἑᵗ. ࠊ߆ࠅ߿ߔ޿ࡄ࠲࡯ࡦ⹺⼂. ࠝ࡯ࡓ಴ ዪ㧘1998.
ጊᒻਈᔒ᮸. ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࠮࡞ಽ⸃ߣ⿥ᄙᵄ㐳↹௝߳ߩᔕ↪. ౮⌀᷹㊂ߣ࡝ࡕ࡯࠼࠮ࡦࠪࡦࠣ. vol.35,
N 3 pp.34-42,
No.3,
34 42 1996.
1996
4.
ᣂ੗ᐽᐔ‫ޔ‬㒸 ⪇ᘢ. ቇ⠌ㇱಽⓨ㑆ᴺߦၮߠߊࡂࠗࡄ࡯ࠬࡍࠢ࠻࡞࠺࡯࠲ߩ ࠞ࠹ࠧ࡝ಽ⸃.ᣣᧄ౮⌀᷹㊂ቇળ⹹.
vol.45, No.5, 2006.
5.
Hasi Hasi Bagan, Yoshifumi Yasuoka, Takahiro Endo, Xiaohui Wang, Zhaosheng Feng, “Classification of Airborne
Hyperspectral Data Based on the Average Learning Subspace Method
Method”, IEEE Geoscience and Remote Sensing Letters,
Letters vol.
vol 5,
5
No. 3, pp.368-372, Jul. 2008.
6. Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. “Extended Averaged Learning
Subspace Method for Hyperspectral Data Classification”, Sensors, vol. 9, No. 6, pp. 4247-4270, Jun. 2009.
g , Wataru Takeuchi,, Tsuguki
g
Kinoshita,, Yuhai Bao,, Yoshiki Yamagata.
g
“Land Cover Classification and Change
g
7.
Hasi Bagan,
Analysis in the Horqin Sandy Land From 1975 to 2007”, IEEE Journal of Selected Topics in Applied Earth Observations and
Remote Sensing, vol. 3, No. 2, pp.168-177. Jun. 2010.
8. Hasi Bagan, Yoshiki Yamagata, “Improved subspace classification method for multispectral remote sensing image
classification”, Photogrammetric Engineering and Remote Sensing, in press.
9. ⑔੗๺ᐢ㧘ㇱಽⓨ㑆ᴺߩ੹ᤄ㧔޿߹߻߆ߒ㧕㧔ਅ㧕:
⑔੗๺ᐢ ㇱಽⓨ㑆ᴺ ੹ᤄ㧔 ߹߻߆ߒ㧕㧔ਅ㧕 ᦨㄭߩᛛⴚേะ㧦⋧੕ㇱಽⓨ㑆ᴺ߳ߩ᜛ᒛߣߘߩᔕ↪੐଀㧚
ᦨㄭ ᛛⴚേะ ⋧੕ㇱಽⓨ㑆ᴺ
᜛ᒛߣߘ ᔕ↪੐଀
ᖱႎಣℂ㧘vol.49, No.5, pp.680-685, 2008
10. ဈ㊁㍈㧘ᱞᎹ⋥᮸㧘ਛ᧛ᄥ৻㧘ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺߦࠃࠆ‛૕⹺⼂㧚㔚ሶᖱႎㅢାቇળ⺰ᢥ⹹D. vol.J84-D2 ,
No.8, pp.1549-1556, 2001
11 Scholkopf,
11.
Scholkopf B.;
B ; Smola,
Smola A.;
A ; Muller,
Muller K
K.R.
R “Nonlinear
Nonlinear component analysis as a kernel eigenvalue problem
problem”, Neural
Computation, vol. 10, No. 5, pp. 1299-1319, Jul. 1998.
12. Washizawa, Y.; Yamashita, Y. “Kernel projection classifiers with suppressing features of other classes”, Neural Computation,
vol.18, No. 8, pp. 1932–1950, Aug. 2006.
1.
2.
3.
ࠞ࡯ࡀ࡞ࠍ↪޿ߚ㕖✢ᒻ⼂೎ᚻᴺࠍዉ౉ߔࠆ
ࠞ ࡀ࡞ࠍ↪޿ߚ㕖✢ᒻ⼂೎ᚻᴺࠍዉ౉ߔࠆ
ࠞ࡯ࡀ࡞ਥᚑಽಽᨆ╬
ࡄ࠲ࡦ⹺⼂ಽ㊁ߢߩᣂ⊒⷗ࠍዉ౉ߔࠆ
⋧੕ㇱಽⓨ㑆ᴺ╬
ⶄ⚛ᢙ⸘▚ߦኻᔕߢ߈ࠆㇱಽⓨ㑆ᚻᴺࠍ㐿⊒ߔࠆ
ALOS PALSARߩࡐ࡜࡝ࡔ࠻࡝ࡕ࡯࠼ߩ࠺࡯࠲
ߪ஍ᵄ ૏⋧ ᝄ᏷ࠍ⴫ߔ
ߪ஍ᵄߩ૏⋧࡮ᝄ᏷ࠍ⴫ߔߎߣ߇ߢ߈ࠆⶄ⚛ᢙ
߈ࠆⶄ⚛ᢙ
࠲ࠗࡊࠍ૶ߞߡ޿ࠆ
43
44
24
部分空間法研究会2010
チュートリアルの狙い
• Eingang：
使ってみよう!部分空間法
-Eingang AusgangIntroduction
• Ausgang:
ExitとOutputの両方の意味で用いられる独逸語
– 河原：相互部分空間法
– 坂野：非線形部分空間法
– 具体的な問題にあたっている研究者が対象．基本的
にはこれらの技術の紹介．部分空間法を使ってもらう．
Eingang：堀田政二，河原智一，坂野鋭
Ausgang：河原智一，坂野鋭，堀田政二
謝辞
タイムテーブル
•
•
•
•
•
Entrance と Input の両方の意味で用いられる独逸語．
– 堀田，et al. 「使ってみよう部分空間法 -部分空間法
体験実習-」を改良．
– B4, M1くらいを対象．Lagrangeの未定係数法も解説
するぞ!という勢い 部分空間法を理解してもらう
するぞ!という勢い．部分空間法を理解してもらう．
11：20-12：00：堀田 部分空間法入門．
12：00-13：00：昼食＊．
13：00-13：25：河原 相互部分空間法．
13：25 13：50：坂野 非線形部分空間法．
13：25-13：50：坂野
非線形部分空間法
13：50-14：00：堀田 MATLABスクリプト説明．
• 本チュートリアル作成に当たりお世話になった
皆様に感謝します．筑波大学の大川泰弘さん
には，相互部分空間法，非線型相互部分空
間法など 多くの貴重なプログラムを提供して
いただきました．NTT CS研の同僚諸氏からは
いくつかの数学的問題についてご教示頂きま
した．
＊昼食時間中も講演者は会場におりますので
秘密の質問など歓迎です．
25
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
目的と内容
目的と内容
パターン認識法の一つである部分空間法 (CLAFIC) を理解することを目
的とし，そのために必要な以下の内容について解説する：
使ってみよう部分空間法！ - eingang -
数学的準備 (ベクトルによる偏微分，ラグランジュ乗数法)
堀田政二 (東京農工大学)
河原智一 (東芝)
坂野鋭 (NTT)
部分空間法 (CLAFIC の直感的な理解．相互部分空間法，非線型部
分空間法への橋渡し)
部分空間法研究会 2010
MATLAB/Octave を用いた手書き数字パターン認識の実験
2010 年 7 月 26 日
本講演で使用するプログラムは以下のページからダウンロード可能：
http://www.tuat.ac.jp/∼s-hotta/ss2010
(1)
(2)
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
線型部分空間
線型部分空間
線型部分空間とはなんですか？ 1/3
線型部分空間とはなんですか？ 1/3
これは部分空間ですか？ [1]
これは部分空間ですか？ [1]
0
0
これは空間の一部分で “部分空間” ではない
これは空間の一部分で “部分空間” ではない
英語では subspace．sub は (身分や質が) 下，下位等の意味 ( ⇐⇒
super)
英語では subspace．sub は (身分や質が) 下，下位等の意味 ( ⇐⇒
super)
もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空
間 (上の図では 2，1，0 次元)
もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空
間 (上の図では 2，1，0 次元)
(3)
部分空間法研究会 2010
(4)
部分空間法研究会 2010
数学的準備
数学的準備
線型部分空間
線型部分空間
線型部分空間とはなんですか？ 2/3
線型部分空間とはなんですか？ 2/3
どれが線型部分空間ですか？
どれが線型部分空間ですか？
㽳
㽳
㽲
㽲
0
0
㽴
1 が正解
足し算・引き算・スカラー倍が可能な集合
㽴
1 が正解
足し算・引き算・スカラー倍が可能な集合
(5)
26
(6)
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
線型部分空間
内積とノルム
線型部分空間とはなんですか？ 3/3
✢ဳㇱಽⓨ㑆䈪䈭䈔䉏䈳
ห䈛⋥✢਄䈮ሽ࿷䈜䉎ὐห჻䈱
⿷䈚▚䊶ᒁ䈐▚䊶䉴䉦䊤䊷୚䈏
ห䈛⋥✢਄䈮䈱䉌䈭䈇
内積とノルム
本講演ではパターンを d 次元の縦実ベクトルで表現:
⎛ ⎞
x1
⎜ ⎟
x = ⎝ ... ⎠ , x = (x1 , ..., xd )
xd
㽳
㽲
1
内積の例：
d
x x = i=1 x2i =x2
√
x のノルム: x = x x
0
2 と
3 は点同士の足し算，スカラー倍が外に飛び出す
2
は集合上の任意の点を独自の原点と定めれば線型部分空間
のように扱える (affine subspace, linear manifold, linear
variety)
二つのベクトルのなす角度:
x y
cos θ = xy
ඨᓘ1
n + 1 次元空間における n 次元単位球面
正規化されたパターン同士の
:
ユークリッド距離
2
x
y −
=
2(1
− cos θ)
x y (7)
部分空間法研究会 2010
(n ≥ 3 のとき超球面と呼ぶ)
(8)
部分空間法研究会 2010
数学的準備
数学的準備
部分空間への正射影
ベクトルによる偏微分
部分空間への正射影
ベクトルによる偏微分
r 次元線型部分空間を張る d 次元正規直交ベクトルを u1 , u2 , ..., ur と
し，それらを並べた d × r の行列 (部分等長行列) を
U = (u1 |u2 | · · · |ur ) とする (U U = I)
∂
∂x
は x に関する偏微分を表し，その第 i 成分が
x
∂
=
∂x
c2
u1
u2
∂
∂
···
∂x1
∂xd
∂
∂xi
となるベクトル
d
例 (1)：内積 f = x x = i=1 x2i を x で偏微分すると
∂f
∂f
∂
= (2x1 · · · 2xd ) = 2x
∂x f = ∇f = ∂x1 · · · ∂xd
~
x
0
c1
例 (2)：d × d の対称行列を A としたとき，二次形式 f = x Ax を
∂
x で偏微分すると ∂x
f = 2Ax
例 (3)：双一次形式 f = x Ay を x で偏微分すると
Rr での x̃ の座標：c = U x = (u
1 x|u2 x| · · · |ur x)
∂
∂x f
= Ay
R での x̃ の座標：x̃ = Uc = UU x (x の U による展開)
d
UU は直交射影行列と呼ばれる
(9)
(10)
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
それぞれどのような意味でしょうか？
それぞれどのような意味でしょうか？
max f (x)
f (x) の最大値
max f (x)
f (x) の最大値
max f (x)
max f (x)
x=1
x=1
argmax f (x)
argmax f (x)
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
max f (x), s.t. · · ·
max f (x), s.t. · · ·
x = 1 を満たす x が与える f (x) の最大値
x = 1 を満たす x が与える f (x) の最大値
x
x
x
x
x
x に関する制約条件下での f (x) の最大値
x
x に関する制約条件下での f (x) の最大値
(11)
27
(12)
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
それぞれどのような意味でしょうか？
それぞれどのような意味でしょうか？
max f (x)
f (x) の最大値
max f (x)
f (x) の最大値
max f (x)
max f (x)
x=1
x=1
argmax f (x)
argmax f (x)
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
max f (x), s.t. · · ·
max f (x), s.t. · · ·
x = 1 を満たす x が与える f (x) の最大値
x = 1 を満たす x が与える f (x) の最大値
x
x
x
x
x
x に関する制約条件下での f (x) の最大値
x
x に関する制約条件下での f (x) の最大値
(13)
部分空間法研究会 2010
(14)
部分空間法研究会 2010
数学的準備
数学的準備
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
それぞれどのような意味でしょうか？
それぞれどのような意味でしょうか？
max f (x)
f (x) の最大値
max f (x)
f (x) の最大値
max f (x)
max f (x)
x=1
x=1
argmax f (x)
argmax f (x)
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
max f (x), s.t. · · ·
max f (x), s.t. · · ·
x = 1 を満たす x が与える f (x) の最大値
x = 1 を満たす x が与える f (x) の最大値
x
x
x
x
x
x に関する制約条件下での f (x) の最大値
x
x に関する制約条件下での f (x) の最大値
(15)
部分空間法研究会 2010
(16)
部分空間法研究会 2010
数学的準備
数学的準備
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
それぞれどのような意味でしょうか？
それぞれどのような意味でしょうか？
max f (x)
f (x) の最大値
max f (x)
f (x) の最大値
max f (x)
max f (x)
x=1
x=1
argmax f (x)
argmax f (x)
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
max f (x), s.t. · · ·
max f (x), s.t. · · ·
x = 1 を満たす x が与える f (x) の最大値
x = 1 を満たす x が与える f (x) の最大値
x
x
x
x
x
x に関する制約条件下での f (x) の最大値
x
x に関する制約条件下での f (x) の最大値
(17)
28
(18)
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
arg，max，subject to の意味
それぞれどのような意味でしょうか？
それぞれどのような意味でしょうか？
max f (x)
f (x) の最大値
max f (x)
f (x) の最大値
max f (x)
max f (x)
x=1
x=1
argmax f (x)
argmax f (x)
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
f (x) を最大にする x の集合．この arg は偏角ではなく，引数
という意味．argmin f (x) も同様に定義できる
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
subject to · · ·
· · · のもとで，という意味．s.t. と略記する場合もある
max f (x), s.t. · · ·
max f (x), s.t. · · ·
x = 1 を満たす x が与える f (x) の最大値
x = 1 を満たす x が与える f (x) の最大値
x
x
x
x
x
x に関する制約条件下での f (x) の最大値
x
x に関する制約条件下での f (x) の最大値
(19)
部分空間法研究会 2010
部分空間法研究会 2010
数学的準備
数学的準備
ラグランジュ未定乗数法
ラグランジュ未定乗数法
ラグランジュ未定乗数法の解法レシピ
ラグランジュ未定乗数法の例
(部分空間法で頻出する例) A を半正定値対称行列とする．u u = 1 の制約条件
のもと，u Au の最大値を求めよ
制約条件のもとで関数の極値を求める方法の一つ [2, 3]．主成分分析，
SVM の導出等，知っていれば多くのパターン認識に関する問題が解ける
max u Au
問題設定
u
s.t. u u − 1 = 0
制約条件 g(x) = 0 のもとで関数 f (x) の極値を求めよ
ラグランジュ乗数 λ を用いてラグランジュ関数を導入
ラグランジュ乗数 λ を用いてラグランジュ関数を導入
L = u Au − λ(u u − 1)
L = f (x) − λg(x)
制約条件のもとで関数が極値をとる点は次式を満たす：
制約条件のもとで関数が極値をとる点は次式を満たす1 ：
∂L/∂u = 0, ∂L/∂λ = 0
∂L/∂u = 2Au − 2λu = 0 より，解は以下を満たす：
∂
∂L
L = ∇f − λ∇g = 0,
=0
∂x
∂λ
上記から d + 1 個の方程式が得られる．一方，未知数は x1 ,...,xd , λ
の d + 1 個なので，方程式の解を求めることができる
1
(20)
付録 1 参照
Au = λu
これは固有値問題2 ．求める解は最大固有値に対応する A の固有ベクトル
(左から u を掛けてみよう．u u = 1 に注意)
(21)
2
部分空間法研究会 2010
固有値，固有ベクトルについては付録 2 を参照
(22)
部分空間法研究会 2010
部分空間法
部分空間法
CLAFIC
CLAFIC
部分空間法 - CLAss-Featuring Information Compression -
CLAFIC の識別則
問題設定：総数 n 個の d 次元訓練パターン xi (i = 1, ..., n) が
与えられており，それらが C 個のクラスのいずれか一つに属
するとする
クラスらしさを部分空間で表現する方法 [4, 5]．部分空間法は主
に三つの観点から独立に見出された経緯がある
クラス j に属する訓練パターンを良く近似できる部分空間を
張る正規直交ベクトルを並べた行列を Uj とする
クラスの特徴を統計的に抽出する [6]
未知パターン x が与えられたとき，x を良く近似できる部分
空間が属するクラスを以下の識別則に基づき出力する：
視覚情報に関する理論から [7]
統計学からみて自然な発想 (縮退ガウス分布)
CLAFIC の識別則
max {U
j x} = Uk x ⇒ x ∈ class k
j=1,...,C
(23)
(24)
29
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
部分空間法
部分空間法
cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し -
CLAFIC における識別則の直感的な理解
CLAFIC における識別則の直感的な理解
class j
cos θ 最大化基準から見た CLAFIC 1/3
U を部分空間を張る正規直交ベクトルを並べた d × r の行列とする．ノ
ルムが 1 に正規化された未知パターン x と U の線型結合パターン Uc
とのなす角度の最大値を c c = 1 の制約条件のもとで求めよ:
class j
dj
U Tj x
x
x
Uj
c
x
0
max x Uc = cos θ
0
ㇱಽⓨ㑆ᴺ
(1)
s.t. c c − 1 = 0
√
なお x = 1，Uc = (Uc) (Uc) = c Ic = 1，クラスの添え字
j を省略していることに注意
x
ᦨዊ〒㔌ᴺ
x
CLAFIC における原点は各クラス共通
未知パターン x を部分空間を使って最も良く近似できるクラ
スへ分類する
2
⇒ d2j = x2 − U
j x が最小のクラスへ分類する．ただ
2
2
し，x が全クラス共通なので，結局 U
j x が最大とな
るクラスへ分類すれば良い
(25)
u2
u1
Uc
部分空間法研究会 2010
(26)
部分空間法研究会 2010
部分空間法
部分空間法
cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し -
cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し -
cos θ 最大化基準から見た CLAFIC 2/3
cos θ 最大化基準から見た CLAFIC 3/3
式 (1) のラグランジュ関数を導入 L = x Uc − λ2 (c c − 1)
求めた c = (U x)/U x を x Uc に代入すると
∂L/∂c = U x − λc = 0 より，解は以下を満たす：
c=
1 U x
λ
cos θ = x Uc =
(2)
制約条件より
c c =
x UU x
U x2
=
= U x = λ
U x
U x
したがって最大の cos θ を与える部分空間上のパターンは
(U x)/U x ∈ Rr ，または (UU x)/U x ∈ Rd で与えられ，
その cos θ の値は U x である
1
1
(U x) (U x) = 2 U x2 = 1
λ2
λ
となるから λ = U x であることがわかる
求めた λ を式 (2) に代入すれば
x
U x
c=
U x
となる．これは x を U の張る部分空間へ正射影したパターンをノ
ルム 1 に正規化したものに他ならない
u2
u1
Uc =
UU T x
UTx
(27)
(28)
部分空間法研究会 2010
部分空間法研究会 2010
部分空間法
部分空間法
cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し -
部分空間の求め方
U をどのように求めるか？ 1/2
相互部分空間法への拡張
未知パターン x を部分空間上のパターンに変更することで，相互部分空
間法に容易に拡張できる：V を部分空間を張る正規直交ベクトルを並べ
た d × s の行列とする．V の線型結合パターン Vb と U の線型結合パ
ターン Uc のなす角度の最大値を b b = 1，c c = 1 の制約条件のもと
で求めよ:
部分空間へ正射影したパターンのバラツキが大きい軸から r 本を
選ぶ (下の例では赤の部分空間)
相互部分空間法への拡張
max (Vb) (Uc)
b,c
s.t. b b − 1 = 0, c c − 1 = 0
0
これもラグランジュ未定乗数法で解ける．詳しくは午後のチュートリア
ルを参照
(29)
(30)
30
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
部分空間法
部分空間法
部分空間の求め方
部分空間の求め方
U をどのように求めるか？ 2/2
次元数 d が大きい場合 (非線型部分空間法への橋渡し)
n 個の訓練パターン x1 , ..., xn が与えられた場合，はじめに
2
yi = u
1 xi のバラツキ (yi ) が最大となる u1 を求めることを考
える：
n
n
2
u1
max
(u
x
)
=
u
x
x
i i
1 i
1
u1
i=1
訓練パターンを並べた d × n の行列を X = (x1 | · · · |xn ) とする
d が大きい場合，d × d の行列 D = XX をメモリに格納す
るのは困難
i=1
固有値，固有ベクトルを計算するのも大変
s.t. u
1 u1 − 1 = 0
n
i=1 xi xi
ラグランジュ未定乗数法から，解は行列 D =
有値 λ1 に対応する固有ベクトルであることがわかる
n d のときは n × n の行列 N = X X の固有ベクトルと固
有値から U を計算した方が効率的
の最大固
※固有ベクトルを求めるだけならば X X を n で割る必要はない
(固有値が n 倍される)
一般に，バラツキの値が r 番目に大きい正規直交ベクトル ur は D
の r 番目に大きい固有値 λr に対応する固有ベクトルで与えられる
クラスごとに r 次元の部分空間を張る固有ベクトルを並べた行列
Uj = (u1 | · · · |ur ) を求め，それらを識別に用いる
(31)
(32)
部分空間法研究会 2010
部分空間法研究会 2010
部分空間法
計算機実験
部分空間の求め方
固有ベクトルの変換公式
手書き数字パターン認識の実験
行列 N = X X ∈ Rn×n の r 個の 0 でない固有値を大きなものか
ら順に λ1 , ..., λr (D = XX の固有値と同じ) とし，それぞれに
対応する固有ベクトルを v 1 , ..., v r ∈ Rn とする．i 番目に大きい
固有値に対応する d 次元の固有ベクトル ui は以下で求めること
ができる [8]：
実験には http://www.gaussianprocess.org/gpml/data/
で公開されている USPS 手書き数字データを使用
16 × 16 ピクセルの手書き数字パターンを 256 次元のベクト
ルにしたもので，未知 · 訓練パターン数はそれぞれ 4649
実験で使用するプログラムは makedata.m と clafic.m
固有ベクトルの変換公式
±Xv i
ui = √
λi
超高次元 (または無限次元) の固有ベクトルもこれで表現できる
⇒ 非線型部分空間法で利用できる
(33)
(34)
部分空間法研究会 2010
部分空間法研究会 2010
計算機実験
計算機実験
makedata.m
clafic.m
データに関する注意と makedata.m の内容
clafic.m の内容
オリジナルの USPS データは未知パターンと訓練パターンの
収集方法が異なるため，前述のウェブサイトで公開されてい
るものは以下のような修正が施されている：
clafic.m を実行すると以下の結果が表示される
Figure 1：各クラスで求められた固有値の大きい上位 10 個に
対応した固有ベクトル
未知パターンと訓練パターンをランダムに混ぜた後，同数の
未知パターンと訓練パターン集合に分割
画素値が [−1, +1] となるようにスケーリング
Figure 2：imgnum 番目の未知パターンの Uj による展開を画
像化したもの (r = 13)
ただし，上記のデータは原点が 0 である保障がないことと，
画像が横向きに保存されていること，ならびにクラスラベル
が pair-wise な形式で保存されていることから，以下のような
修正を makedata.m を用いて行う：
識別率と 1 パターンあたりの平均識別時間
なお，プログラム先頭の r や imgnum の値を変えると結果がかわ
るので，いろいろと値を変えてみよう
画像を縦方向に変換
画素値が [0, +1] となるようにスケーリング
クラスラベルを 0 から 9 となるように修正
修正を施したデータは usps.mat という名前で保存
(35)
(36)
31
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
計算機実験
計算機実験
記号の意味
実行結果
Figure 1 のキャプチャ画面
発表資料とプログラムで使われている記号の対応表
意味
クラス数
次元数
未知 · 訓練パターン数
第 i 訓練パターン
第 i 訓練パターンのラベル
第 i 未知パターン
第 i 未知パターンのラベル
クラス j の部分等長行列 Uj
ベクトル x と y の内積
ベクトル x のノルム
発表資料
c
d
n
xi
x
Uj
x√
y
x = x x
プログラム
nclass
d
ndata
trai(:,i)
trai_label(i)
test(:,i)
test_label(i)
C(j).U
x’*y
norm(x)
各クラスのパターンの変動が観察できる
(37)
部分空間法研究会 2010
(38)
部分空間法研究会 2010
計算機実験
計算機実験
実行結果
比較実験
Figure 2 のキャプチャ画面
実験条件
CPU 1.86GHz，メモリ 2GB，32bit の Windows，MATLAB (R14) を使用
䏗䏈䏖䏗䎃䏖䏄䏐䏓䏏䏈
䏆䏏䏄䏖䏖䎃䎓
䏆䏏䏄䏖䏖䎃䎔
䏆䏏䏄䏖䏖䎃䎕
䏆䏏䏄䏖䏖䎃䎖
䏆䏏䏄䏖䏖䎃䎗
䏆䏏䏄䏖䏖䎃䎘
䏆䏏䏄䏖䏖䎃䎙
䏆䏏䏄䏖䏖䎃䎚
䏆䏏䏄䏖䏖䎃䎛
識別法
ベイズ決定則
マハラノビス距離
線型判別分析
最小距離法
最近傍決定則
部分空間法 (r = 13)
部分空間法 (累積寄与率)
線型 SVM
非線型 SVM
䏆䏏䏄䏖䏖䎃䎜
未知パターンの各 Uj による展開 (Uj U
j x)
正しいクラスでは未知パターンを良く近似できる
単峰ガウス分布 (正則化あり)
正則化あり
正則化なし
各クラスの重心との距離で識別
最近傍パターンのラベルを出力
CLAFIC
CLAFIC
one-against-all
one-against-all, RBF Kernel
(39)
(40)
部分空間法研究会 2010
部分空間法研究会 2010
計算機実験
計算機実験
比較実験
比較実験
部分空間の次元数の決め方
累積寄与率 λ̄ =
r
i=1 λi /
実験結果
rank(D)
j=1
λj でクラスごとに決定
識別時間は一つの未知パターンを分類するのに必要な平均時間
分割学習法：訓練データを二つにわけ，一方を未知パターン
とみなして r をクラス共通で決定 (下図参照)
識別法
ベイズ決定則
マハラノビス距離
線型判別分析
最小距離法
最近傍決定則
部分空間法 (r = 13)
部分空間法 (λ̄ = 0.95)
線型 SVM
非線型 SVM
test
validation
accuracy [%]
95
90
85
0
20
40
60
80
100
dimensionality of each subspace r
(41)
識別率 (%)
96.5
97.1
92.0
85.8
97.4
96.9
94.3
93.9
98.0
識別時間 (s)
0.003
0.002
0.002
3 × 10−5
0.01
6 × 10−4
5 × 10−4
136.8
222
辞書サイズ (KB)
5140.2
5140
532
20
9298
260
231
3656
5352
(42)
32
部分空間法研究会2010
部分空間法研究会 2010
部分空間法研究会 2010
まとめ
まとめ
部分空間法の特長
部分空間法の難点とその回避法
部分空間法の特長
部分空間法の難点とその回避法
特徴抽出と識別を同時に行うことができる
クラスの追加・削除が容易
次元数が小さい場合 (例えば d = 2) に識別率が低下 [9]
高速な識別が可能
複雑な決定境界を持つパターン分布では識別率が低下
辞書サイズを部分空間の次元数 r で調整できる
カーネル非線形部分空間法
local subspace classifier (入力近傍に限定した投影距離法)
パラメータは r のみ (累積寄与率，交差検定で決める)
学習により識別率を向上できる
※これらは計算時間，メモリ容量およびパラメータ数が大き
くなる傾向がある
理論的な拡張が容易
複合類似度法，混合類似度法
直交部分空間法，学習部分空間法
カーネル非線形部分空間法
相互部分空間法，相互投影距離法，tangent distance
k-subspace clustering，(fuzzy) k-varieties clustering
上記の組合せ
クラス数が増加すると識別率が低下
カーネル非線形部分空間法
(43)
(44)
部分空間法研究会 2010
部分空間法研究会 2010
まとめ
まとめ
参考文献
参考文献
参考文献 I
参考文献 II
[1]
数学セミナー編集部, 教えて欲しい数学の疑問 1, 日本評論社，1996.
[8]
金谷健一, これなら分かる応用数学教室 -最小二乗法からウェーブレットまで-, 共立
出版, 2003.
[2]
金谷健一, これなら分かる最適化数学 -基礎原理から計算手法まで -, 共立出版,
2005.
[9]
鷲沢嘉一, “正則化を用いた 2 次識別器,” MIRU 2007.
[3]
C.M. Bishop, Pattern recognition and machine learning, Springer, 2006.
元田 浩，栗田多喜夫，樋口知之，松本祐治，村田 昇 監訳，パターン認識と機械学
習 - ベイズ理論による統計的予測，上下巻，シュプリンガー・ジャパン，2008.
[4]
S. Watanabe, P.F. Lambert, C.A. Kulikowski, J.L. Buxton, and R. Walker,
“Evaluation and selection of variables in pattern recognition,” in Computer and
Information Sciences II, p. 91, Academic Press, 1967.
[5]
E. Oja, Subspace methods of pattern recognition, Research Studies Press, 1983.
小川英光，佐藤 誠 訳，パターン認識と部分空間法, 産業図書，1986.
[6]
S. Watanabe, Knowing and guessing : A quantitative study of inference and
information, John Wiley & Sons, New York, 1969.
村上陽一郎, 丹治信春 訳, 知識と推測 : 科学的認識論, 上下巻, 東京図書, 1987.
[7]
飯島泰蔵，視覚情報の基礎理論 - パターン認識問題の源流 -，コロナ社，1999.
(45)
(46)
部分空間法研究会 2010
部分空間法研究会 2010
付録 1
付録 2
付録 1: ラグランジュ未定乗数法の直感的な理解
付録 2: 固有値，固有ベクトルの直感的な理解
Au = λu (u = 0) が成り立つとき u を A の固有ベクトル，λ を固有値とよぶ
f ( x ) = const .
䎔䎓
䎛
䎙
䎗
䎕
x2
∇f
䎓
䎐䎕
䎐䎗
g (x ) = 0
䎐䎙
∇g
䎐䎛
䎐䎔䎓
䎐䎔䎓
䎓
x1
䎘
䎔䎓
„
«
1/5 1/4
，x を任意の座標とする．青い点を Ax で変換す
1/4 1/5
ると，赤い × へ移動する．移動の軌跡を緑の線で表すと，連続した二本の直線
二変数の場合の例
例：A を A =
制約条件 g(x) = 0 と f (x) の等高線の法線ベクトルが極値で平行
∇f = λ∇g
䎐䎘
が現れる (この直線上にある点の位置ベクトルの方向が変化してないから)．こ
の二本の直線の方向を与えるものが固有ベクトル，その直線上の移動量が固有値
(47)
33
(48)
部分空間法研究会2010
Ⴘഏ
̅ẾềỚợạὲᢿЎᆰ᧓ඥ
-ႻʝᢿЎᆰ᧓ඥ-
•
•
•
•
῍Ausgang῍
㒊ศ✵㛫ἲ䛾ᣑᙇ
┦஫㒊ศ✵㛫ἲ䛸䛿
┦஫㒊ศ✵㛫ἲ䛾ᣑᙇ
ᐇ㦂⤖ᯝ
㒊ศ✵㛫ἲ◊✲఍ 2010
䠎䠌䠍䠌ᖺ䠓᭶䠎䠒᪥
ᰴᘧ఍♫ ᮾⰪ ◊✲㛤Ⓨ䝉䞁䝍䞊
Ἑཎ ᬛ୍
Copyright 2010, Toshiba Corporation.
2
Ⴘഏ
ᛐᜤ৖ඥỉኒᜧ‫׋‬ίሇඬ‫ٻ‬ᅦʟέဃ˺঺ỉ‫׋‬ửો‫٭‬ὸ
• 㒊ศ✵㛫ἲ䛾ᣑᙇ
[6] [7]
– ⥺ᆺ
– 㠀⥺ᆺ
– 䜰䞁䝃䞁䝤䝹Ꮫ⩦
䜹䞊䝛䝹㠀⥺ᙧ㒊ศ✵㛫ἲ
Nonlinear
extension
KSM
[1] [2] [3]
㒊ศ✵㛫ἲ
SM
[8][9]
• ┦஫㒊ศ✵㛫ἲ䛸䛿
• ┦஫㒊ศ✵㛫ἲ䛾ᣑᙇ
• ᐇ㦂⤖ᯝ
᰾㠀⥺ᙧ┦஫㒊ศ✵㛫ἲ
Nonlinear
extension
KMS
[4] [5]
┦஫㒊ศ✵㛫ἲ
MSM
+Constraint subspace
[15] [16]
䜹䞊䝛䝹㠀⥺ᙧ
ไ⣙┦஫㒊ศ✵㛫ἲ
Nonlinear
extension
[15]
+Multiple
constraint
subspaces
CMSM
KCMSM
䜹䞊䝛䝹㠀⥺ᙧ
┤஺┦஫㒊ศ✵㛫ἲ
[10] [11] [12]
ไ⣙┦஫㒊ศ✵㛫ἲ
[17]
ከ㔜ไ⣙┦஫㒊ศ✵㛫ἲ
MCMSM
+Orthogonalization matrix
Nonlinear
extension
KOMSM
㠀⥺ᆺᣑᙇ
[13][14]
[13]
ከ㔜ⓑⰍ┦஫㒊ศ✵㛫ἲ
ⓑⰍ໬┦஫㒊ศ✵㛫ἲ
WMSM
⥺ᆺᣑᙇ
3
+Multiple
Whitened
matrices
MWMSM
䜰䞁䝃䞁䝤䝹Ꮫ⩦
4
Ⴘഏ
ႻʝᢿЎᆰ᧓ඥểỊ[4][5]
• 㒊ศ✵㛫ἲ䛾ᣑᙇ
• ┦஫㒊ศ✵㛫ἲ䛸䛿
• “」ᩘ”䛾ධຊ䝧䜽䝖䝹䛸」ᩘ䛾Ⓩ㘓䝃䞁䝥䝹䛾㢮ఝᛶ䜢 䜛
ᡭἲ
• 㒊ศ✵㛫ἲ䛻䛚䛡䜛௨ୗ䛾ᯟ⤌䜏䜢ᣑᙇ
– 㒊ศ✵㛫ἲ䛾ᯟ⤌䜏䛾ᣑᙇ
– 㒊ศ✵㛫ྠኈ䛾㢮ఝᗘィ⟬
– 」ᩘ䛾Ⓩ㘓䝃䞁䝥䝹䠄ศᕸ䠅䛛䜙䜽䝷䝇䜙䛧䛥䜢㒊ศ✵㛫䛷⾲⌧
– 㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷䚸ධຊ䝧䜽䝖䝹䛻᭱䜒㏆䛔䝧䜽䝖䝹
䜢᥈⣴
• ┦஫㒊ศ✵㛫ἲ䛾ᣑᙇ
• ᐇ㦂⤖ᯝ
ᣑᙇ
┦஫㒊ศ✵㛫ἲ
• 」ᩘ䛒䜛ධຊ䝧䜽䝖䝹䠄ศᕸ䠅䛚䜘䜃䝃䞁䝥䝹䠄ศᕸ䠅䜢㒊ศ✵㛫䛷⾲⌧
• ṇ‽䝧䜽䝖䝹䠄ྛ㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷᭱䜒㏆䛔䝨䜰䠅䛾
㛫䛾ゅᗘ䠄䛾వᘻ䛾䠎஌䠅䜢㒊ศ✵㛫ྠኈ䛾㢮ఝᗘ䛸䛩䜛
5
6
34
部分空間法研究会2010
ᢿЎᆰ᧓ඥỉ௒ኵỚ
λщͨờᢿЎᆰ᧓Ểᘙྵ
• Ⓩ㘓䝃䞁䝥䝹䛾䜽䝷䝇䜙䛧䛥䜢㒊ศ✵㛫䛷⾲⌧
• 」ᩘ䛒䜛ධຊ䝧䜽䝖䝹䠄ศᕸ䠅䛚䜘䜃䝃䞁䝥䝹䠄ศᕸ䠅䜢㒊ศ✵
㛫䛷⥺ᆺ⾲⌧
⮬ᕫ┦㛵⾜ิ A 䛾
ᅛ᭷್ၥ㢟䜢ゎ䛟
φ1 ,, φ N
1
A
N
0
N
φ
k
φk
䛭䜜䛮䜜䛷⮬ᕫ┦㛵⾜ิ
䠃ᅛ᭷್ၥ㢟
t
0
1 ,, M
k 1
A
1
M
M
k
z
t
k
k 1
y
• 㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷䚸ධຊ䝧䜽䝖䝹䛻᭱䜒㏆䛔䝧䜽䝖䝹䜢
᥈⣴
ψ
z
max
1 , 2 ,12 22 1,
y
(φ, ψ ) max
1 , 2 ,12 22 1,
(1φ1 2φ 2 , ψ )
φ1 ,, φ N
max
( ψ )
2
2
t
t
1 , 2 ,1 2 1,
1
N
N
φ
k
φk
0
t
x
k 1
䠎䛴䛾㞟ྜ䛾㢮ఝᛶ䜢ẚ㍑
φ 1φ1 2φ2
0
A
0
㒊ศ✵㛫䛷ẚ㍑
x
7
8
ᢿЎᆰ᧓ӷٟỉᚌࡇửဇẟề᫏˩ࣱửᚸ̖
ᢿЎᆰ᧓ӷٟỉ᫏˩ࡇᚘምί1/2ὸ
• ྛ㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷᭱䜒㏆䛔䝨䜰䛾ゅᗘ䛷
㒊ศ✵㛫ྠኈ䛾㢮ఝᛶ䜢⾲⌧
• 㢮ఝᗘ䛿௨ୗ䛾ၥ㢟䜢ゎ䛟䛣䛸䛷ᚓ䜙䜜䜛
– φ, ψ䛸䜒䛻㛗䛥䛜䠍䛾ไ⣙䛜䛒䜛䛾䛷䚸䛂᭱䜒㏆䛔䛃䠙䛂ෆ✚䛜᭱኱䛃
– 䛣䛾䝨䜰䛾䝧䜽䝖䝹䜢䛭䜜䛮䜜䛾ṇ‽䝧䜽䝖䝹䛸࿧䜆
max (φ, ψ ) max (1φ1 2φ 2 , 1ψ1 2 ψ 2 )
1 , 2 , 1 , 2 ,
12 22 1,
12 22 1
1 , 2 , 1 , 2 ,
12 22 1,
12 22 1
㢮ఝᗘ䜢ᑟฟ䛩䜛ၥ㢟
max ( t t )
1 , 2 , 1 , 2 ,
12 22 1,
12 22 1
㒊ศ✵㛫䠞
ṇ‽䝧䜽䝖䝹
ψ
䛣䛾ゅᗘ䜢㒊ศ✵㛫䠝䛸
㒊ศ✵㛫䠞䛾㢮ఝᗘ䛸䛩䜛
㒊ศ✵㛫䠞
ψ1
cos θ 䠖㢮ఝᗘ
㒊ศ✵㛫䠝
θ
φ ṇ‽䝧䜽䝖䝹
( φ 1)
φ1 φ 2
㒊ศ✵㛫䠝䛾ṇつ┤஺ᇶᗏ
ψ1 ψ 2
㒊ศ✵㛫䠞䛾ṇつ┤஺ᇶᗏ
㒊ศ✵㛫䠝
ψ 1ψ1 2 ψ 2
( ψ 1)
θ
ψ2
φ1
φ 1φ1 2φ2
φ2
䛣䛾ᅗ䛿䜲䝯䞊䝆䛷䛩
䛣䛾ᅗ䛿䜲䝯䞊䝆䛷䛩
䠄䠏ḟඖ✵㛫୰䛾䠎ḟඖᖹ㠃ྠኈ䛷䛿䚸ඹ㏻㒊ศ䠄㔜䛺䜛㒊ศ䠅䛻ᒓ䛩䜛䝧䜽䝖䝹䛜᭱䜒㏆䛔䝧䜽䝖䝹䛻䛺䜛䛯䜑䠅
䠄䠏ḟඖ✵㛫୰䛾䠎ḟඖᖹ㠃ྠኈ䛷䛿䚸ඹ㏻㒊ศ䠄㔜䛺䜛㒊ศ䠅䛻ᒓ䛩䜛䝧䜽䝖䝹䛜᭱䜒㏆䛔䝧䜽䝖䝹䛻䛺䜛䛯䜑䠅
9
10
ᢿЎᆰ᧓ӷٟỉ᫏˩ࡇᚘምί2/2ὸ
Ⴘഏ
• ၥ㢟 max ( ) 䜢Lagrange 䛾ᮍᐃ஌ᩘἲ䜢⏝䛔䛶ゎ䛟
• 㒊ศ✵㛫ἲ䛾ᣑᙇ
• ┦஫㒊ศ✵㛫ἲ䛸䛿
• ┦஫㒊ศ✵㛫ἲ䛾ᣑᙇ
t
t
,
1
1
1
Lagrangian: L t t ( t 1) ( t 1)
2
2
Lagrangian 䜢α䛸β䛷
L
䛭䜜䛮䜜೫ᚤศ
t 0
L
t 0
ᘧኚᙧ
t t
௦ධ
– ไ⣙┦஫㒊ศ✵㛫ἲ
– ⓑⰍ໬┦஫㒊ศ✵㛫ἲ
– ྛᡭἲ䛾䝫䜲䞁䝖
t t t
t
• ᐇ㦂⤖ᯝ
ୖᘧ䛻ᕥ䛛䜙α䛾㌿⨨
ୗᘧ䛻ᕥ䛛䜙β䛾㌿⨨
䜢䛛䛡䜛䛸
t t t t t
t
ୖᘧ䛸ୗᘧ䛾ᕥ㎶䛿ྠ䛨್䛷
䛛䛴䚸ồ䜑䜛㢮ఝᗘ
㢮ఝᗘ䛾䠎஌䛿䚸
䜎䛯䛿 䛾᭱኱ᅛ᭷್
t
t
t
t 䠄䛹䛱䜙䜢౑⏝䛧䛶䜒䜘䛔䚹⾜ิ䛾䝃䜲䝈䛜
␗䛺䜛䛯䜑䚸ィ⟬䛜㏿䛔᪉䜢㑅䜆ሙྜ䛜୍⯡ⓗ䠅
㢮ఝᗘ
11
12
35
部分空間法研究会2010
ႻʝᢿЎᆰ᧓ඥỉίዴ‫׹‬ὸਘࢌ
СኖႻʝᢿЎᆰ᧓ඥ[10][11][12]
• ┦஫㒊ศ✵㛫ἲ䛿䜽䝷䝇ෆኚື䜢ไᚚ䛧䛶䛔䜛䛸䜏䛺䛩䛸…
• ไ⣙㒊ศ✵㛫䜈ྛ㒊ศ✵㛫䜢ᑕᙳ䛩䜛䛣䛸䛷䚸㒊ศ✵㛫ྠኈ
䛾ゅᗘ䜢ᗈ䛢䜛
– 䜽䝷䝇䜙䛧䛥䜢⥺ᆺ䛷⾲⌧䛧䛶䛔䜛䛸䛿䚸䜽䝷䝇ෆኚື䜢⥺ᆺ㏆ఝ䛧䛶䛔
䜛䛸䜏䛺䛩䛣䛸䜒䛷䛝䜛
– ไ⣙㒊ศ✵㛫䛿䚸ྛ䜹䝔䝂䝸䛾㒊ศ✵㛫䛾䠄୍⯡໬䠅ᕪศ㒊ศ✵㛫
– ලయⓗ䛺ィ⟬᪉ἲ䛿䚸௨ୗ䛾㒊ศ✵㛫䛾㞟ྜ䛾⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷
್䛜”ᑠ䛥䛔”䝧䜽䝖䝹䜢ᇶᗏ䛸䛩䜛䠄ᇶᗏᩘ䛿ᐇ㦂ⓗ䛻Ỵ䜑䜛䠅
• 䜽䝷䝇㛫ኚື䜒⪃៖䛧䛯䠄⥺ᆺ䠅ᣑᙇ
– ලయⓗ䛻䛿䚸」ᩘ䛾㒊ศ✵㛫䛻ᑐ䛧䛶䚸㒊ศ✵㛫ྠኈ䛾ゅᗘ䜢ᗈ䛢䜛
⥺ᆺ෗ീ䜢⪃䛘䜛
• ไ⣙┦஫㒊ศ✵㛫ἲ
• ⓑⰍ໬┦஫㒊ศ✵㛫ἲ
⮬ᕫ┦㛵⾜ิ
A
N
1
N
P
k
k 1
BΛB t
ᅛ᭷್䛾ᑐゅ⾜ิ
ᅛ᭷䝧䜽䝖䝹䜢୪䜉䛯⾜ิ
ྛ㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ
㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ
d
P i i
t
i 1
1 d 䛿㒊ศ✵㛫䛾ṇつ┤஺ᇶᗏ
ᅛ᭷್䛾ᑠ䛥䛔ᅛ᭷䝧䜽䝖䝹䛷⏕ᡂ䛥䜜䛯✵㛫䜈ᑕᙳ䛩䜛
ไ⣙㒊ศ✵㛫
13
14
ႉᑥ҄ႻʝᢿЎᆰ᧓ඥ[13][14]
СኖấợỎႉᑥ҄ႻʝᢿЎᆰ᧓ඥỉᜤК૾ඥ
• ⓑⰍ໬ኚ᥮䜢᪋䛩䛣䛸䛷䚸㒊ศ✵㛫ྠኈ䛾ゅᗘ䜢ᗈ䛢䚸ᐦᗘ
䜢ᆒ୍໬䛧䜘䛖䛸䛩䜛ᡭἲ
• ྛ䜽䝷䝇䛾㒊ศ✵㛫䛾ไ⣙㒊ศ✵㛫䜈䛾ᑕᙳ䜎䛯䛿ⓑⰍ໬ኚ᥮䜢ィ⟬
– ྛ䜽䝷䝇䛾 d ḟඖ㒊ศ✵㛫䛾ṇつ┤஺ᇶᗏ 1 d 䜢䛭䜜䛮䜜䚸ไ⣙㒊ศ
✵㛫䜈ᑕᙳ䜎䛯䛿ⓑⰍ໬ኚ᥮䛩䜛
– ᑕᙳ䜎䛯䛿ኚ᥮䛷ᚓ䜙䜜䛯 d ᮏ䛾 1 ' d ' 䜢ṇつ┤஺໬䠄Gram-Schmidt
┤஺໬䛺䛹䠅䛩䜛䛣䛸䛷䚸ኚ᥮䛧䛯㒊ศ✵㛫䛾ᇶᗏ 1 ' ' d ' ' 䜢ᚓ䜛
– ⓑⰍ໬ኚ᥮䛿䚸㒊ศ✵㛫䛾㞟ྜ䛾⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷್䛸ᅛ᭷䝧䜽䝖
䝹䜢⏝䛔䛶ᚓ䜙䜜䜛
1 N
⮬ᕫ┦㛵⾜ิ A Pk BΛBt
N k 1
• ኚ᥮ᚋ䛾㒊ศ✵㛫ྠኈ䛾㢮ఝᗘ䜢┦஫㒊ศ✵㛫ἲ䛷ィ⟬
ኚ᥮ᚋ䛾ᇶᗏ
ⓑⰍ໬ኚ᥮ W 1/ 2 Bt
ኚ᥮ᚋ䛾㒊ศ✵㛫䛾
ṇつ┤஺໬ᇶᗏ
䠄ṇつ┤஺䛸䛿㝈䜙䛺䛔䠅
ψ1 '
ψ1
ψ2
WAW t I
䜽䝷䝇䛾㒊ศ✵㛫
A
I
ψ1 ' '
ψ2 '
ṇつ┤஺ᇶᗏ
ṇつ┤஺໬
䠄Gram-Schmidt┤஺໬䠅
ไ⣙㒊ศ✵㛫䜈ᑕᙳ
䜎䛯䛿ⓑⰍ໬ኚ᥮
ψ2 ''
㒊ศ✵㛫䛷䛾ᑕᙳ䞉ኚ᥮䛾䜲䝯䞊䝆
15
16
ᢿЎᆰ᧓ỉᨼӳỉᐯࠁႻ᧙ᘍЗểỊί1/2ὸ
ᢿЎᆰ᧓ỉᨼӳỉᐯࠁႻ᧙ᘍЗểỊί2/2ὸ
• ᅛ᭷್䛾኱䛝䛥䛜䛭䛾ᅛ᭷䝧䜽䝖䝹᪉ྥ䛾㒊ศ✵㛫䛾ᐦᗘ䜢
㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ
⾲䛩⾜ิ
• ᅛ᭷್䛿䚸ᑐᛂ䛩䜛ᅛ᭷䝧䜽䝖䝹䛸ྛ㒊ศ✵㛫䛸䛾ᑕᙳ㛗䛾䠎
஌ᖹᆒ
d
P i i
t
i 1
1 d 䛿㒊ศ✵㛫䛾ṇつ┤஺ᇶᗏ
ྛ㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ
1
⮬ᕫ┦㛵⾜ิ A N
N
P
k
BΛB
v t v v t Av t
ᅛ᭷್
1
N
N
v
t
(Pk v) k 1
k 1
1
N
N
cos
2
θ k (v)
k 1
ྛ㒊ศ✵㛫䛸䛾ᑕᙳ㛗䛾䠎஌ᖹᆒ
ᅛ᭷್䛾ᑐゅ⾜ิ
ᅛ᭷䝧䜽䝖䝹䜢୪䜉䛯⾜ิ
⮬ᕫ┦㛵⾜ิ䠝䛾ᅛ᭷್
䜲䝯䞊䝆ᅗ
ᅛ᭷್䛾኱䛝䛥䜢ᴃ෇䛷⾲⌧
A
⮬ᕫ┦㛵⾜ิ䜢ィ⟬
㒊ศ✵㛫䛾㞟ྜ
v λ 䛻ᑐᛂ䛩䜛ᅛ᭷䝧䜽䝖䝹
θ k ( v) k ␒┠䛾㒊ศ✵㛫䛸 v 䛸䛾ゅᗘ
ᅛ᭷್኱䠙ᐦ
ᑕᙳ㛗䛾䠎஌ᖹᆒ䛜኱䛝䛔䜋䛹䚸㒊ศ✵㛫䛾ᐦᗘ䛜㧗䛟
ᑠ䛥䛔䜋䛹䚸㒊ศ✵㛫䛾ᐦᗘ䛜ప䛔
ᅛ᭷್ᑠ䠙␯
17
18
36
部分空間法研究会2010
СኖᢿЎᆰ᧓Ὁႉᑥ҄‫٭‬੭ỉᢌẟ
ᾁ৖ඥử̅ဇẴỦᨥỉἯỶὅἚ
• 䛂ᅛ᭷್䠙㒊ศ✵㛫䛾ᐦᗘ䛃䜢฼⏝䛧䛯䚸⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷
䝧䜽䝖䝹䛾㔜䜏௜䛡䛾㐪䛔䛸䛧䛶⾲⌧
• 㒊ศ✵㛫䛾ᐦᗘ᥎ᐃ䛜䝫䜲䞁䝖
• ไ⣙┦஫㒊ศ✵㛫ἲ
ᐦᗘ䛻ᛂ䛨䛶䚸
ᡂศ䛻㔜䜏䜢௜୚䛩䜛
ᐦᗘ䛜㧗䛔㒊ศ
䠄ඹ㏻䛺ᡂศ䠅䜢ྲྀ䜚㝖䛟
– 䜹䝔䝂䝸ᩘ䛜ᑡ䛺䛔䚸䜎䛯䛿༑ศ䛺Ꮫ⩦䛜䛷䛝䛺䛔ሙྜ䚸Ꮫ⩦᫬䛸ㄆ㆑
᫬䛻ศᕸ䛜኱䛝䛟ኚ䜟䜛䛸䛝䛺䛹䛻᭷ຠ
• ⓑⰍ໬┦஫㒊ศ✵㛫ἲ
ⓑⰍ໬ኚ᥮䠄䠳䠩䠯䠩䠅
– 䜹䝔䝂䝸ᩘ䛜ከ䛟䚸༑ศ䛻Ꮫ⩦䛜䛷䛝䜛ሙྜ䛻᭷ຠ
• 䜹䝔䝂䝸ᩘ䛜ᑡ䛺䛔䛸㐣Ꮫ⩦䛩䜛ഴྥ䛜䛒䜛
• ≉䛻䚸䛂≉ᚩ✵㛫ḟඖ 䠚 㒊ศ✵㛫䛾ḟඖ x 䜹䝔䝂䝸ᩘ䛃䛾᫬䛿䚸
㒊ศ✵㛫ྠኈ䜢┤஺໬䛥䛫䜛
䠍䠊䠌
ไ⣙㒊ศ✵㛫䠄䠟䠩䠯䠩䠅
ᅛ᭷್኱
ᅛ᭷್ᑠ
19
20
ಒᙲ
π᧏᫊ἙὊἑỆợỦ᬴ܱ
•
•
•
•
• 䝕䞊䝍䝧䞊䝇
㒊ศ✵㛫ἲ䛾ᣑᙇ
┦஫㒊ศ✵㛫ἲ䛸䛿
┦஫㒊ศ✵㛫ἲ䛾≉ᚩᢳฟᡭἲ
ᐇ㦂⤖ᯝ
㼜㼞㼛㼎㼑
㼓㼍㼘㼘㼑㼞㼥
㻝㻝㻥㻢
㻝㻝㻥㻡
㻲㻱㻾㻱㼀㻌㼒㼍㻘㻌㼒㼎
⏬ീ౛
• ᡭἲ
– ┦஫㒊ศ✵㛫ἲ䠄䠩䠯䠩䠅
– ไ⣙┦஫㒊ศ✵㛫ἲ䠄䠟䠩䠯䠩䠅
– ⓑⰍ໬┦஫㒊ศ✵㛫ἲ䠄䠳䠩䠯䠩䠅
• ホ౯ᣦᶆ
– 䠍఩ṇゎ⋡
– ➼౯䜶䝷䞊⋡
21
22
ཎࣉໜ౨ЈỉᛚࠀỆ‫ࣖݣ‬ẴỦẺỜ
ᙐૠỉ᫊ဒ΂ẦỤᢿЎᆰ᧓ử˺঺
• ᳨ฟ఩⨨䛛䜙㢦䜢ษ䜚ฟ䛩㝿䚸㢦㡿ᇦ䜢」ᩘኚ໬䛥䛫䛶䚸」ᩘ
䛾⏬ീ䜢⏕ᡂ
• ௨ୗ䛾ฎ⌮䜢Ⓩ㘓䞉↷ྜ䛾཮᪉䛷⾜䛖
– ᳨ฟ఩⨨䛜ከᑡ䛪䜜䛶䜒䚸ᑐᛂ䛷䛝䚸᳨ฟㄗᕪ䛻㡹೺䛻䛺䜛
– Ⓩ㘓䞉↷ྜ୧᪉䛷⾜䛖䛣䛸䛷䚸䛥䜙䛻᳨ฟㄗᕪ䛻㡹೺䛻䛺䜛
ษ䜚ฟ䛧䛯」ᩘ䛾㢦⏬ീ
⮬ᕫ┦㛵⾜ิ䠃ᅛ᭷್ၥ㢟
1 N
t
A
k k
N k 1
z
y
0
x
0
ษ䜚ฟ䛧䛯」ᩘ䛾㢦⏬ീ
23
ಶே䛾㢦䛾㒊ศ✵㛫
䠄Ⓩ㘓䞉↷ྜ䠅
24
37
部分空間法研究会2010
ᛐᜤ᬴ܱίFERETὸ
᬴ܱኽௐ
• FERET 䝕䞊䝍䛻䛚䛡䜛⣼✚ศ㢮⋡
䠍఩ṇゎ⋡(%)
㻜㻚㻥㻥㻜㻌
2.26
㻜㻚㻥㻤㻜㻌
2.00
1.50
0.84
1.00
㻜㻚㻥㻠㻜㻌
0.00
WMSM
㻠㻥
㻠㻣
㻠㻡
㻠㻟
㻠㻝
㻟㻥
㻟㻣
㻟㻡
㻟㻟
㻟㻝
㻞㻥
㻞㻣
㻞㻡
㻞㻟
㻞㻝
㻝㻥
㻝㻣
㻜㻚㻥㻟㻜㻌
㻝㻡
CMSM
㻝㻟
MSM
㻥
WMSM
㻝
CMSM
㻜㻚㻥㻢㻜㻌
㻜㻚㻥㻡㻜㻌
0.50
MSM
㼃㻹㻿㻹
㻹㼃㻹㻿㻹
㻯㻹㻿㻹
㻹㻯㻹㻿㻹
㻹㻿㻹
㼁㻹㻰㻥㻣
㻜㻚㻥㻣㻜㻌
㻣
93.6
1.26
㻝㻝
95.9
㻡
2.50
㻟
97.4
㻯㼡㼙㼡㼘㼍㼠㼕㼢㼑㻌㻹㼍㼠㼏㼔㻌㻾㼍㼠㼑
98
97
96
95
94
93
92
91
㻝㻚㻜㻜㻜㻌
➼౯䜶䝷䞊⋡(%)
㻾㼍㼚㼗
25
26
References
[1] S. Watanabe, N. Pakvasa, “Subspace method of pattern recognition”, Proc. 1st Int. J. Conf. on Pattern
Recognition,1973.
[2] 㣤ᓥὈⶶ, “䝟䝍䞊䞁ㄆ㆑”, 㟁Ẽ䞉㟁ᏊᕤᏛ኱⣔43, 䝁䝻䝘♫,1973.
[3] 䜶䝹䝑䜻䞉䜸䝲ⴭ, ᑠᕝⱥග, బ⸨ㄔヂ, “䝟䝍䞊䞁ㄆ㆑䛸㒊ศ✵㛫ἲ”, ⏘ᴗᅗ᭩,1986.
[4] ๓⏣㈼୍, Ώ㎶㈆୍, “ᒁᡤⓗᵓ㐀䜢ᑟධ䛧䛯䝟䝍䞊䞁䞉䝬䝑䝏䞁䜾ἲ”, ಙᏛㄽ(D), vol.J68-D, no.3, pp.345-352, 1985.
[5] O.Yamaguchi, K. Fukui, K. Maeda, “Face Recognition using Temporal Image Sequence”, Proc. of the third
International Conference on Automatic Face and Gesture Recognition, pp.318-323, 1998.
[6] ๓⏣ⱥస, ᮧ℩ὒ, “䜹䞊䝛䝹㠀⥺ᙧ㒊ศ✵㛫ἲ䛻䜘䜛䝟䝍䞊䞁ㄆ㆑”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.600-612, 1999.
[7] ὠ⏣ᏹ἞, “䝠䝹䝧䝹䝖✵㛫䛻䛚䛡䜛㒊ศ✵㛫ἲ”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.592-599, 1999.
[8] ᆏ㔝㗦, Ṋᕝ┤ᶞ, ୰ᮧኴ୍, “᰾㠀⥺ᙧ┦஫㒊ศ✵㛫ἲ䛻䜘䜛≀యㄆ㆑䇿, ಙᏛㄽ(D-II),vol.J84-D,no.8,pp.1549-1556,2001.
[9] ᕷ㔝ᑗႹ, ᆏ㔝㗦, ᑠᯇᑦஂ, “᰾㠀⥺ᙧ┦஫㒊ศ✵㛫ἲ䛻䜘䜛ヰ⪅ㄆ㆑”, ಙᏛㄽ(D-II),vol.J88-D-II,no.8,pp.1331-1338,2005
[10] ⚟஭࿴ᗈ, ᒣཱྀಟ, 㕥ᮌ⸅, ๓⏣㈼୍, “ไ⣙┦஫㒊ศ✵㛫ἲ䜢⏝䛔䛯⎔ቃኚື䛻䝻䝞䝇䝖䛺㢦⏬ീㄆ㆑- ↷᫂ኚື䜢ᢚ䛘䜛ไ⣙㒊
✵㛫䛾Ꮫ⩦-”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.613-620, 1999.
[11] ⚟஭࿴ᗈ, ᒣཱྀಟ, “୍⯡໬ᕪศ㒊ศ✵㛫䛻ᇶ䛵䛟ไ⣙┦஫㒊ศ✵㛫ἲ”, ಙᏛㄽ(D-II), vol.J87-D-II, no.8, pp.1622-1631, 2004.
[12] K. Fukui, O. Yamaguchi, “ Face recognition using multiviewpoint patterns for robot vision”,11th International
Symposium of Robotics Research (ISRR’03), pp.192-201, springer, 2005.
[13] T. Kawahara, M. Nishiyama, T. Kozakaya, O. Yamaguchi “Face recognition based on whitening transformation of
distribution of subspaces”, Subspace 2007, pp.97-103, 2007
[14] ᒣཱྀಟ, Ἑཎᬛ୍, “ⓑⰍ໬┦஫㒊ศ✵㛫ἲ䛻䛚䛡䜛≉ᚩ㑅ᢥ䛻㛵䛩䜛⪃ᐹ”,ಙᏛᢏሗ, vol.109,no.470, PRMU2009-269, pp.
211-216, 2010ᖺ3᭶
[15] ⚟஭࿴ᗈ, ᒣཱྀಟ, ”䜹䞊䝛䝹㠀⥺ᙧไ⣙┦஫㒊ศ✵㛫ἲ䛻䜘䜛≀యㄆ㆑”, 㟁Ꮚ᝟ሗ㏻ಙᏛ఍ㄽᩥㄅ(D-II), vol.J88-D-II, no.8,
pp.1349-1356, 2005.
[16] K. Fukui, B. Stenger, O. Yamaguchi, “A framework for 3D object recognition using the kernel constrained mutual
subspace method”, ACCV06, part-I, pp.315-324, 2006.
[17] M. Nishiyama, O. Yamaguchi, and K. Fukui, “Face recognition with the multiple constrained mutual subspace
method”, In Audio- and Video-based Biometric Person Authentication, pages 71–80, 2005.
[18] F. Chatelin, “⾜ิ䛾ᅛ᭷್,” ఀ⌮ṇኵ, ఀ⌮⏤ᐇヂ, 䝅䝳䝥䝸䞁䜺䞊䞉䝣䜵䜰䝷䞊䜽ᮾி, 1993.
27
38
部分空間法研究会2010
概要
使ってみよう!部分空間法
Ausgang
非線形部分空間法
-非線形部分空間法-
1. 何故，非線形部分空間法を考えるのか？
2. 「非線形主成分分析」．ベタな例．
3. 核と核非線形主成分分析
4. 核非線形部分空間法，核非線形相互部分
空間法とその応用
河原智一，坂野 鋭，堀田政二
部分空間法研究会 2010年7月26日
2
何故，
非線形部分空間法を考えるのか？
概要
1. 何故，非線形部分空間法を考えるのか？
2. 「非線形主成分分析」．ベタな例．
3. 核と核非線形主成分分析
4. 核非線形部分空間法，核非線形相互部分
空間法とその応用
• 何だかよくわからないけど「非線形分
布」としか呼びようが無いものが実在す
るから．
• そういうものが無いのに考えるのはあま
り賢い考え方では無い
– 今だから白状しますが，僕も昔そういうこと
をやっていました．
3
4
非線形分布ってどういうもの?
-実験的に-
概要
1. 何故，非線形部分空間法を考えるのか？
2. 「非線形主成分分析」．ベタな例．
3. 核と核非線形主成分分析
4. 核非線形部分空間法，核非線形相互部分
空間法とその応用
"testpca.txt"
"trainpca.txt"
平均すると
顔では無い
-800
-900
-1000
-1100
-1200
-1300
-1400
-1500
-1600
800
700
600
500
-1000
400
-900
-800
300
-700
-600
-500
200
-400
-300
100
-200
-100
0
0
•画像のあるところが学習データ，+は未知データ
•UMIST顔画像DBの画像を主成分分析[1]
⇒非線形分布!?
6
5
39
部分空間法研究会2010
Gnanadesikanの方法(1)
色々な非線形主成分分析
2次の主成分分析(2次元)
• Gnanadesikanの方法[3]
– 高次多項式への変換を考える．
2次の主成分分析(3次元)
• 入江の方法[4]
– 多層パーセプトロンの利用
多層パ セプト
の利用
3次の主成分分析(2次元)
• 90年代まではうまい方法が無かった．
• どう，うまくないのでしょう？
この様な変換で非線形変換してから普通の主成分分析を行う．
任意の次数の非線形主成分分析が構成出来る．
低次元のデータでは良好に動作する(判別分析への応用例が
8
[5])．
7
Gnanadesikanの方法(2)
概要
次元数が非常に大きくなる．d 次元のデータに
対して2次の非線形主成分分析は
1. 何故，非線形部分空間法を考えるのか？
2. 「非線形主成分分析」．ベタな例．
3. 核と核非線形主成分分析
4. 核非線形部分空間法と核非線形相互部分
空間法
5. 核非線形相互部分空間法の応用
ちなみに３次だと
次行列の対角化を扱うことになる．
原空間が100次元の時，2次の非線形主成分分析
は5150次元の問題になる→使いにくい
簡略版を文字認識に適用した例はある[6].
9
10
核による非線形化のプロセス
核，核関数，カーネルマシン
• 従来からある線形なアルゴリズムを内積だけ
の計算に書き換える．
• 内積を適切な核と置き換える
• 最近話題常識の非線形認識手法[7] ．
• 元々は60年代のAizermanらの ポテン
シャル関数法 [8]．
⇒新非線形アルゴリズム完成!
実際，1998-2005年くらいまではこうした論
文がたくさん見られた．(簡単に量産出来た)
• 非線形機械が便利に使える
• 色々難しい話もあるけど，出来るだけ
実用的に(難しい話は赤穂[7]，前田[9]などを参照)．
でも「核」って一体何？
11
12
40
部分空間法研究会2010
核とは何か
代数方程式
核とは何か
代数方程式
ここで座標のインデックスを
整数から実数に拡張している．
と等価な積分方程式
ここで座標のインデックスを
整数から実数に拡張している．
と等価な積分方程式
において k(x, x’)を「核」もしくは「積分核」という．
において k(x, x’)を「核」もしくは「積分核」という．
-kernel の元々の意味は「種」(www.alc.co.jp ではレベル7)
-kernel の元々の意味は「種」(www.alc.co.jp ではレベル7)
どうやって利用するんでしょう？
ちょっと数学的な準備をします．
どうやって利用するんでしょう？
ちょっと数学的な準備をします．
13
14
核の展開
核の展開の解釈
変数
代数方程式
積分方程式
を満たす行列(核)は，
固有値，固有ベクトル(関数)を用いて
xを
の様な高次元(時として無限次元)のベクトルに
変換したものと解釈できる．
核はこの様な高次元空間の内積と考えて良い．
⇒内積の代わりにある核を使うことは
その核に対応する非常に高次元の
の様に展開出来る．
非線形変換を行ったことと等しい⇒便利
15
ポテンシャル関数法
-最初のカーネルマシン-
16
ポテンシャル関数法の動作(1)
"testpca.txt"
"trainpca.txt"
• m個の学習パターンを全て記憶し
-800
-900
-1000
-1100
-1200
-1300
-1400
-1500
-1600
800
700
600
500
-1000
400
-900
-800
300
-700
-600
-500
• を識別関数として用いる．
• kとしては
200
-400
-300
100
-200
-100
• 等が用いられる
• 類似度 = 内積 → 核と考えると素直に理解
できる．
0
0
複雑な識別面を作ったり，サンプルをぼかして対雑
音性能を上げたりできる
•画像のあるところが学習データ.+,×は未知データ
18
•UMIST顔画像DBを利用[1]
17
41
部分空間法研究会2010
ポテンシャル関数法の動作(2)
ちょっと改良してみよう
m個の学習パターンを全て記憶
ここを改良す
る手もある
例えば
例えば，
カーネルパラメータ σ により様々な形に密度関数
を近似できる．σが小さいほどデータの情報を重視
した近似になる．
こうしてみる．αを変えることで色々な情報処理が出来る
じゃあ，どういう風にαを変えるの？
⇒Support Vector Machine, Kernel PCA
19
20
核による非線形化のプロセス
(再掲)
従来からある線形の主成分分析(1)
簡単のため，
データの重心が原点と一致している場合を考える
• 従来からある線形なアルゴリズムを内積
だけの計算に書き換える．
• 内積を適切な核と置き換える
m個のデータがある場合のn次元データ行列
を考える．普通の主成分分析は分散共分散行列XtXの固有値問題
⇒新非線形アルゴリズム完成!
• このプロセスに従って Kernel PCAを作っ
てみましょう．
として与えられる．これは n×n 行列の対角化で求解できる．
m≪n の場合の解法としてよく知られている通り，
21
22
従来からある線形の主成分分析(2)
従来からある線形の主成分分析(3)
グラム行列XXtの固有値問題を考えると，固有ベクトルα，
固有値λは
従って，主成分分析のアルゴリズムは
グラム行列
の対角化と得られた固有ベクトルを
の解として与えられる．
Vとαは
で写像して分散共分散行列の
固有ベクトルを計算する．
という風に構成出来る．
Xを成分で書いて両辺に写像すべきデータをかけると
となって全て内積
で書けた
という関係で結ばれている[10]．
23
24
42
部分空間法研究会2010
Pseudo code
主成分分析
核非線形主成分分析
• C=D’*D;
• [evec,eval]=eig(C)
• for i=1:dn
内積を適切な核と置き換える
グラム行列は
– for j=1:dn
写像は
• K(I,j)=exp((D(I,:)D(j :))^2/sigma
D(j,:))
2/sigma ;
– end
• end
• [evec,eval]=eig(K/dn)
• for i=1:dn
核を使うとMATLAB等の機
能が使えなくて実装は大
変になることが多い
となって
Kernel Principal Component analysis
完成!
– evecs(:,i)=evec(:,i)/sqr
t(eval(i));
• end
25
26
概要
核非線形部分空間法
1. 何故，非線形部分空間法を考えるのか？
2. 「非線形主成分分析」．ベタな例．
3. 核と核非線形主成分分析
4. 核非線形部分空間法，核非線形相互部分
空間法とその応用
最初の Kernel Based Subspace method[11]
xが正規化されていると考えると
そのものを識別規則として用いることができる．
27
28
物体認識実験の例
-ETH80 animals-
核非線型相互部分空間法
•2自由度で回転する剛
体画像のDB[13].
•（多分）湾曲構造
•文献[14]と同じ実験
条件．
•ただしカーネルパラ
メタ，辞書側次元数，
入力側次元数，使う
正準角の数は色々変
えて
核な部分空間法が出来たのなら相互部分空間法も
出来るはず, という単純な発想[12].
辞書側
入力側
従って，基底の内積は
基底の内積が計算出来たので，後は普通の相互部分空間法
29
30
43
部分空間法研究会2010
ETH80 animalsのクラス
ETH80物体認識実験結果
堀田先生配布のMSM.m と KMSM.m を用いて実験．
Kernelizeしたことで劇的に認識率が向上する．
90%
認識率（%）
認
核非線形相互部分空間法(KMSM.m)
70%
相互部分空間法(MSM.m)
50%
部分空間次元数
31
32
ETH80物体認識実験結果
最後に注意事項
• 今回の実験は簡単のため，入力側，辞書
側次元数を同じにしているが色々パラ
メータを振ったり，前処理をMATLAB
Toolboxに変えたりすると認識率が変わる
• 配布プログラムでいろいろ試してくださ
い（最後に堀田先生から説明がありま
す）
• これまで最高 99.7% 詳細はPRMU/CVIM9月
研究会にて発表予定．
• 核非線形(相互)部分空間法は非線形分布
を相手にした時に高い認識率を達成する．
– 柔物体，音声，ジェスチャ認識，宇宙機の異
常検出などにも応用例がある[15-18] .
• しかし(当然?)，相手が線形の時には無力．
– 正面顔，高度な特徴抽出した文字認識問題な
どでは認識率が上がらない(下がる場合もあ
る)．
• 処理量は大．実装も面倒．
33
34
参考文献
Thank you for your
attention!
•
•
•
•
•
•
•
•
•
•
•
•
Let’s use Subspace
Method!!
•
•
•
•
•
•
35
[1] D. B. Graham and N. S. Allinson, ”Characterizing Virtual Eigensignatures for General Purpose Face Recognition, ”in
H.Wechsler, et al. ed. ”Face Recognition From Theory to Applications ”, Springer Verlag, (1998)
[2]村瀬洋，S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―，電子情報通信学会論文誌 D, Vol.J77-D2,
No.11, pp.2179-2187 ， 1994
[3] R. ニャナデシカン， 統計的多変量データ解析， 日科技連， 1979
[4] 入江 文平 川人 光男 ,多層パーセプトロンによる内部表現の獲得, 電子情報通信学会論文誌 D Vol.J73-D2 No.8 pp.11731178, 1990．論文中では「特徴抽出」という言い方をしているがやっていることは間違いなく非線形主成分分析である．
[5]佐藤新，坂野鋭，松永務, 非線形構造に着目した識別ルール抽出法, 信学技報PRMU2003-34,(2003.6.20)
[6]坂野 鋭, 横塚 志行, 木田 博巳, 非線形主成分分析による投影距離法, 画像の認識と理解シンポジウム MIRU'92, (1992),電子情報
通信学会，情報処理学会
[7]赤穂昭太郎：カーネル多変量解析－非線形データ解析の新しい展開, 岩波書店(2008).
[8] Aizerman, M. A., Braverman, E. M. and Rozonoer, L. I.: 学習とパタ－ン認識: パタ－ン認識と学習制御: 機械学習理論におけ
るポテン ャル関数法（原著露語）(
るポテンシャル関数法（原著露語）(1970),（共立出版（1978））.
),（共立出版（
））
[9]藤吉弘亘，山下隆義，岡田和典，前田英作，ノジク・ヴァンソン，石川 尋代，ドゥソルビエ・フランソワ, コンピュータビジョン
最先端ガイド2 ―Mean-Shift, Kernel Method, Local Image Features, GPU―, アドコムメディア，(2010)
[10] C. M. ビショップ , パターン認識と機械学習 下 - ベイズ理論による統計的予測，シュプリンガー・ジャパン，（2008）
[11]前田 英作, 村瀬 洋, カーネル非線形部分空間法によるパターン認識, 信学論，Vol.J82-D2 No.4 pp.600-612, (1999)
[12]坂野 鋭, 武川直樹,中村太一, 核非線形相互部分空間法による物体認識, 電子情報通信学会論文誌D-II J84-D-II,pp. 15491556,(2001)
[13]Bastian Leibe and Bernt Schiele, Analyzing Appearance and Contour Based Methods for Object Categorization. in Proc.
CVPR03, (2003)
[14]福井和広, 山口修, "カーネル非線形制約相互部分空間法による物体認識", 電子情報通信学会論文誌 (D-II), vol.J88-D-II, no.8,
pp.1349-1356, (2005).
[15]市野将嗣,坂野鋭,小松尚久， 核非線形相互部分空間法による話者認識, 電子情報通信学会論文誌D-II，J88-D-II，(2005)
[16]市野将嗣，坂野鋭，小松尚久, 話者認識における核非線形相互部分空間法の適用と有効性に関する一考察, 画像の認識・理解シン
ポジウム(MIRU2008)サテライトワークショップ部分空間法研究会Subspace2008, 2008年7月
[17] B. Zhang, et. al, Combination of selforganization map and kernel mutual subspace method for video surveillance,
Advanced Video and Signal Based Surveillance, 2007. p. 123
[18]藤巻,矢入, 町田,カーネル特徴空間における正準角を利用した宇宙機異常検知法,第20回人工知能学会全国大会，２A3-1, 2006
36
44
部分空間法研究会2010
䝇䜿䝆䝳䞊䝹
㒊ศ✵㛫ἲ◊✲఍ 2010
䛆䝏䝳䞊䝖䝸䜰䝹䛇
1.
⊂❧ᡂศศᯒ䛻䛴䛔䛶
z ᐃᘧ໬䠈Ṕྐ䠈ᛂ⏝
཯ᇌ঺ЎЎௌλᧉ
῍᪦ỉЎᩉử᫆஬ểẲề῍
2.
㡢※ศ㞳䛾䝕䝰
3.
ಙྕ䛾⤫ィⓗᛶ㉁
[2010ᖺ7᭶26᪥]
4.
z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮
⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮
z ⓑⰍ໬ 䠇 FastICA
NTT 䝁䝭䝳䝙䜿䞊䝅䝵䞁⛉Ꮫᇶ♏◊✲ᡤ
z ᭱ᑬ᥎ᐃἲ by Natural Gradient
⃝⏣ ᏹ
z ୍⯡໬ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ
1
2
⊂❧ᡂศศᯒ
⊂❧ᡂศศᯒ
(ICA: Independent Component Analysis)
• ΰ䛦䜚ྜ䛳䛯ಙྕ
䛛䜙ඖ䛾ಙྕ䜢ྲྀ䜚ฟ䛩
• 䛹䛾ᵝ䛻ΰ䛦䛳䛯䛛䛻㛵䛩䜛᝟ሗ
䛿฼⏝䛷䛝䛺䛔
+
+
+
+
ඖ䛾ಙྕ䛿஫䛔䛻
⊂❧䛷䛒䜛䛸௬ᐃ
ඖ䛾ಙྕ䛿⊂❧
౫Ꮡ㛵ಀ䛜䛒䜛
䛺䜛䜉䛟⊂❧䛻䛩䜛
• ୍᪉䛛䜙௚᪉䛜
᥎ 䛷䛝䛺䛔
• ୍᪉䛛䜙௚᪉䛜
᥎ 䛷䛝䜛
• ྠ䛨ᡂศ䛜཮᪉
䛻ධ䛳䛶䛔䜛
• ලయⓗ䛺ᡭ㡰䛿?
䠄ᮏ䝏䝳䞊䝖䝸䜰䝹䛷
ㄝ᫂䠅
䜢஫䛔䛻
⊂❧䛻䛩䜛
3
4
⊂❧ᡂศศᯒ 䇷 ᐃᘧ໬
⊂❧ᡂศศᯒ
• Ṕྐ
• Iಶ䛾※ಙྕ s 䛜ΰྜ⾜ิ H 䛻䜘䜚ΰ䛦䜚ྜ䛔䠈
Jಶ䛾ほ ಙྕ x 䛜 T ಶᚓ䜙䜜䛯䛸䛩䜛䠊
» 1980ᖺ௦: 䝣䝷䞁䝇䛾◊✲⪅䜙୰ᚰ
• 㠀⥺ᙧ↓┦㛵໬䠈㧗ḟ⤫ィ㔞
» 1990ᖺ௦୰┙䛛䜙: ୡ⏺ⓗ䛺ᗈ䛜䜚
• ⌮ㄽⓗᯟ⤌䜏඘ᐇ䠈ຠ⋡ⓗ䛺䜰䝹䝂䝸䝈䝮
• ศ㞳⾜ิ W 䛻䜘䜚ศ㞳ಙྕ y 䜢⏕ᡂ䛩䜛䠊
» ᅜ㝿఍㆟ ICA: 1999ᖺ䛛䜙1ᖺ༙ẖ䛻1ᅇ㛤ദ
• ᛂ⏝
» ಙྕศ㞳: 㡢䠈⬻Ἴ䠈↓⥺ಙྕ䠈䛺䛹
• W 䛾ィ⟬䛿ほ ಙྕ x 䛾䜏䛛䜙⾜䛖䠊Iಶ䛾
ศ㞳ಙྕ y 䛜஫䛔䛻⊂❧䛻䛺䜛䜘䛖䛻䛩䜛䠊
• BSS: Blind Source Separation
» ≉ᚩᢳฟ䠄ྍኚᇶᗏ䠅: ⮬↛⏬ീ䠈㡢䠈䛺䛹
5
45
6
部分空間法研究会2010
㡢䛾ศ㞳
䝤䝷䜲䞁䝗㡢※ศ㞳
• 㡢䛾䜏䜢ᡭ䛜䛛䜚䛸䛧䛶ΰ䛦䛳䛯㡢䜢ศ㞳
• 䜹䜽䝔䝹䝟䞊䝔䜱䞊ຠᯝ
䋽 どぬ䠄䜹䝯䝷䠅䛻㛵䜟䜛᝟ሗ䛿฼⏝䛷䛝䛺䛔
ே䛾⪺䛝ศ䛡⬟ຊ
• ఱ䜢ᡭ䛜䛛䜚䛻䛩䜛䛛?
» 㡢ኌ: ኌ㉁䠈ヰ䛧᪉䛾≉ᚩ䠈ḟ䛻᮶䜛ゝⴥ䜢ண » ᴦჾ: 㡢䛾㧗䛥䠋≉ᚩ䠈䝸䝈䝮䠈⧞䜚㏉䛧䝟䝍䞊䞁
» ✵㛫᝟ሗ: 㡢※䛾᪉ྥ䠈㊥㞳 䊹 」ᩘ䝬䜲䜽䠄⪥䠅
• ศ㞳᪉ἲ
» ⥺ᙧ䝣䜱䝹䝍: 䝡䞊䝮䝣䜷䞊䝬䠈⊂❧ᡂศศᯒ
» 㠀⥺ᙧฎ⌮: ᫬㛫࿘Ἴᩘ䝬䝇䜻䞁䜾
• 㡢ኌㄆ㆑
䝬䜲䜽䝻䝩䞁䛸ཱྀ䛾㛫䛾㊥㞳䛾ቑຍ䛻䜘䜚ΰධ
䛧䛶䛟䜛ጉᐖ㡢䜢ᢚᅽ䞉㝖ཤ
• 㡢ᴦ䠋ᴦჾ㡢ศᯒ
౛䠅 䜸䞊䜿䝇䝖䝷䛷୍䛴୍䛴䛾ᴦჾ䛾ᵝᏊ䜢ᢕᥱ
7
8
䝤䝷䜲䞁䝗㡢※ศ㞳䛾ᐇᶵ䝕䝰 [1,2,3]
኱䛝䛺ኌ䛷ㄞ䜣䛷䛟䛰䛥䛔
• ஧ே䛾ே䛻ྠ᫬䛻ႅ䛳䛶䜒䜙䛔䜎䛩䠄8⛊㛫䛠䜙䛔䠅
1. 䝁䞁䝢䝳䞊䝍䛾⪥䛸ே㛫䛾⪥䛸䛷䚸ᶵ⬟ⓗ䛻
኱䛝䛟㐪䛖Ⅼ䛿䚸䜒䛾䜢⪺䛝ศ䛡䜛⬟ຊ䛷䛩䚹
• 䛭䛾ΰ䛦䛳䛯ኌ䜢㘓㡢䛧䜎䛩
• 㘓㡢䛧䛯㡢䜢⪺䛔䛶䛟䛰䛥䛔
䠎䛴䛾䝬䜲䜽䝻䝩䞁
2. ┠ᶆ䛿䚸୍ᗘ䛻10ே䛾ヰ䜢⪺䛝ศ䛡䛯䛸
ఏ䛘䜙䜜䜛䚸⪷ᚨኴᏊ୪䜏䛾ฎ⌮⬟ຊ䛷䛩䚹
• 䝁䞁䝢䝳䞊䝍䛷ฎ⌮䜢䛧䜎䛩
• ฎ⌮ᚋ䛾ศ㞳㡢䜢⪺䛔䛶䛟䛰䛥䛔
EDIROL
by Roland
3. 䛂䝤䝷䜲䞁䝗㡢※ศ㞳ᢏ⾡䛃䛸䛿䚸ᐇ⎔ቃ䛻
䛚䛔䛶䚸ΰ䛦䜚ྜ䛳䛯㡢䛛䜙┠ⓗ䛾㡢䛰䛡䜢
ྲྀ䜚ฟ䛩ᢏ⾡䛷䛩䚹
R-09
24bit WAVE/MP3 Recorder
9
10
䝇䜿䝆䝳䞊䝹
1.
㡢䛾⤫ィⓗᛶ㉁
⊂❧ᡂศศᯒ䛻䛴䛔䛶
㡢※ศ㞳䛾䝕䝰
3.
ಙྕ䛾⤫ィⓗᛶ㉁
᣺ᖜ್
᣺ᖜ್
z ᐃᘧ໬䠈Ṕྐ䠈ᛂ⏝
2.
ᣑ኱䛩䜛䛸
᣺ᖜ್
z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮
4.
䝠䝇䝖䜾䝷䝮
㡢ኌ䛾Ἴᙧ
⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮
z ⓑⰍ໬ 䠇 FastICA
z ᭱ᑬ᥎ᐃἲ by Natural Gradient
z ୍⯡໬ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ
᣺ᖜ್
11
46
12
᣺ᖜ್
部分空間法研究会2010
㡢䜢ΰ䛬䛶䜏䜛
Ἴᙧ
᣺ᖜ್
s
Ἴᙧ
s
13
14
୰ᚰᴟ㝈ᐃ⌮
ΰ䛬䛯㡢䛾⤫ィⓗᛶ㉁
(Central Limit Theorem) [4]
䝠䝇䝖䜾䝷䝮
• 䜒䛸䜒䛸䛾ಙྕ䛜䛹䛾䜘䛖䛺⤫ィⓗᛶ㉁䜢ᣢ䛳䛯䜒䛾
䛷䛒䜜䠈ከ䛟䛾ಙྕ䜢㊊䛧ྜ䜟䛫䜛䛸䠈䛭䛾⤫ィⓗᛶ
㉁䛿ṇつศᕸ䛻㏆䛵䛟䠊
ᖹᆒ 0
ศᩓ 1
䛾ṇつศᕸ䛾
☜⋡ᐦᗘ㛵ᩘ
᣺ᖜ್
䊻㉥䛔⥺䛻㏆䛵䛔䛶䛟䜛
15
16
ṇつศᕸ䠄䜺䜴䝇ศᕸ䠅
䜶䞁䝖䝻䝢䞊䠄ᖹᆒ᝟ሗ㔞䠅
• 䛒䜛஦㇟䛾᝟ሗ㔞
• ☜⋡ᐦᗘ㛵ᩘ
䜑䛳䛯䛻㉳䛣䜙䛺䛔䛣䛸
䜋䛹䚸᝟ሗ㔞䛿኱䛝䛔
• 䜶䞁䝖䝻䝢䞊
• ⤫ィᏛ䛻䛚䛔䛶䜒䛳䛸䜒௦⾲ⓗ䛺ศᕸ
» ᖹᆒ
䛸ศᩓ
䛜Ỵ䜎䜜䜀୍ព䛻ᐃ䜎䜛
• 䜒䛳䛸䜒䛂䝷䞁䝎䝮䛃䛺ศᕸ
» ୰ᚰᴟ㝈ᐃ⌮
» ከ䛟䛾஦㇟䜢䜎䛸䜑䛯䜒䛾䠄ಙྕ䚸ศᕸ䚸㞟ྜ䠅䛷䛾
᝟ሗ㔞䛾ᖹᆒ
» ྠ䛨ศᩓ䜢ᣢ䛴ศᕸ䛾୰䛷䜶䞁䝖䝻䝢䞊᭱኱
» ṇつศᕸ䛾ሙྜ
17
18
47
部分空間法研究会2010
ΰ䛬䛯㡢䛾䜶䞁䝖䝻䝢䞊
㡢※䛾⤫ィⓗᛶ㉁
• ᡃ䚻䛜ᢅ䛖ព࿡䛾䛒䜛㡢
» 㡢ኌ䠈㡢ᴦ䠈䛺䛹
N=1
» 0䛾㢖ᗘ䛜ከ䛔
• 䝷䝥䝷䝇ศᕸ䛻䜘䜛䝰䝕䝹໬
㡢※
ᩘN
1
2
8
16
ṇつ
ศᕸ
䝷䝥䝷䝇ศᕸ
䜶䞁䝖 1.194 1.332 1.394 1.407 1.419
䝻䝢䞊
䜺䜴䝇ศᕸ
ᖹᆒ:
ศᩓ:
ศᩓ䜢䠍䛻ṇつ໬䛧䛯
19
20
㡢※䛾⤫ィⓗᛶ㉁
䜶䞁䝖䝻䝢䞊䛾㏆ఝィ⟬
• ┿䛾ศᕸ䜢㏆ఝ䛷䛝䜛ศᕸ䜢⏝䛔䜛
䝠䝇䝖䜾䝷䝮
㡢※ᩘN
᣺ᖜ್
㟷䛔⥺䛿䝷䝥䝷䝇ศᕸ
1
16
ṇつ
ศᕸ
1.194 1.332 1.394 1.407 1.419
Ⰻዲ䊻
䝷䝥䝷䝇ศᕸ
䛻䜘䜛㏆ఝ
1.286 1.356 1.420 1.457 1.474
ศᩓṇつ໬䛾
䛯䜑↓཯ᛂ䊻
䜺䜴䝇ศᕸ䛻
䜘䜛㏆ఝ
1.419 1.419 1.419 1.419 1.419
22
䝇䜿䝆䝳䞊䝹
ᩓᕸᅗ
⊂❧ᡂศศᯒ䛻䛴䛔䛶
z ᐃᘧ໬䠈Ṕྐ䠈ᛂ⏝
2.
㡢※ศ㞳䛾䝕䝰
3.
ಙྕ䛾⤫ィⓗᛶ㉁
s1
z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮
4.
8
䜶䞁䝖䝻䝢䞊
21
1.
2
s2
⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮
z ⓑⰍ໬ 䠇 FastICA
z ᭱ᑬ᥎ᐃἲ by Natural Gradient
z ୍⯡໬ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ
23
24
48
部分空間法研究会2010
ⓑⰍ໬ 䠇 FastICA [1]
※ಙྕ䛸ΰྜಙྕ䛾ᩓᕸᅗ
※ಙྕ
ΰྜಙྕ
ΰྜ⾜ิ
ⓑⰍ໬ಙྕ
ⓑⰍ໬⾜ิ
䠄ᴃ෇䜢෇䛻䠅
ศ㞳ಙྕ
䝴䝙䝍䝸⾜ิ
䠄ᅇ㌿䠅
FastICA
25
26
┦㛵䛸┦㛵⾜ิ
┦㛵⾜ิ䛾ᅛ᭷䝧䜽䝖䝹䛸ᅛ᭷್
• ┦㛵
• ┦㛵⾜ิ
0.16
0.73
1.24
0.91
27
28
ⓑⰍ໬
ⓑⰍ໬⾜ิ䛾ồ䜑᪉
ΰྜಙྕ
䛻䜘䜚
ⓑⰍ໬ಙྕ
䛸䛺䜛ⓑⰍ໬⾜ิ
䜢ồ䜑䜛
z 䛾┦㛵⾜ิ䜢ィ⟬䛧䛶䜏䜛䛸
• ┦㛵⾜ิ䛜༢఩⾜ิ
䛻䛺䜛䜘䛖䛻ኚ᥮
䛸䛺䜛䠊
䛸ᅛ᭷್ศゎ䛩䜜䜀
┦㛵⾜ิ䛾ᅛ᭷್ศゎ
» ↓┦㛵໬
» ศᩓ䛾ṇつ໬
┦㛵⾜ิ
ᅛ᭷್
ᅛ᭷䝧䜽䝖䝹
䛣䛣䛷
ⓑⰍ໬⾜ิ
䠄ᴃ෇䜢෇䛻䠅
䜢‶䛯䛩
䠄ṇつ┤஺ᇶᗏ䠅
䛜ồ䜑䜛䜒䛾䛸䛺䜛
29
49
30
部分空間法研究会2010
FastICA [1]
䝴䝙䝍䝸ኚ᥮䠄ᅇ㌿䠅
ⓑⰍ໬ಙྕ
• ๓ฎ⌮䛻ⓑⰍ໬䠊ゎ✵㛫䜢䝴䝙䝍䝸⾜ิ U 䛻㝈ᐃ
ศ㞳ಙྕ
• 㠀⥺ᙧ㛵ᩘ
2ḟඖ䛾ሙྜ
䛾ᮇᚅ್䜢᭱ᑠ໬
» 䜶䞁䝖䝻䝢䞊᭱ᑠ໬:
• ᇶᮏ䛿䠈ศ㞳ಙྕ
䛜┿䛾ศᕸ䛾㏆ఝ
䜢䠍䛴䛪䛴ồ䜑䛶䛔䛟
཰᮰䛩䜛䜎䛷௨ୗ䜢⧞䜚㏉䛩
䜶䞁䝖䝻䝢䞊
㛵ᩘG䛾ᖹᆒ
ศ㞳ಙྕ䛾ィ⟬
䝙䝳䞊䝖䞁ἲ䛻䜘䜛G䛾᭱㐺໬
䜾䝷䝮䞉䝅䝳䝭䝑䝖䛾┤஺໬
䝷䝥䝷䝇ศᕸ䛻䜘䜛
᝟ሗ㔞䛾㏆ఝ
䝜䝹䝮䠍䛻ṇつ໬
31
32
FastICA䜰䝹䝂䝸䝈䝮䛾ᵝᏊ
㠀⥺ᙧ㛵ᩘG䛻䛴䛔䛶
• FastICA䛷⏝䛔䜛䛻䛿䠈୍㝵ᚤศ䠈஧㝵ᚤศ䛜ᚲせ
• ㉥䠄䕕䠅
»
䜢ึᮇ್
» G䛾᭱㐺໬: ཎⅬ䛻㏆䛵䛔䛶䛔䜛䜒䛾
• 䝷䝥䝷䝇ศᕸ䛻䜘䜛G䛿䠈୍㝵ᚤศ䛜୙㐃⥆䛸䛺䜚୙㒔ྜ
» 䝜䝹䝮1䛻ṇつ໬: ༢఩෇ୖ
➢ྕ䛭䛾䜒䛾
» 5ᅇ䛾⧞䜚㏉䛧䛷Ⰻዲ䛺ゎ䜈
• ௦䜟䜚䛻䠈஧㝵ᚤศ䜒ྍ⬟䛺㛵ᩘ䜢౑⏝
• ⥳䠄䕧䠅
»
䃐䛿0.1䛺䛹ᑠ䛥䛺್
䃐= 0䛷䝷䝥䝷䝇ศᕸ䛻䜘䜛G䛸䛺䜛
䜢ึᮇ್
» ┤஺໬䛻䜘䜚䠈1ᅇ䛷ゎ䛻฿㐩
33
34
ⓑⰍ໬ 䠇 FastICA 䜎䛸䜑
᭱ᑬ᥎ᐃἲ [2,3]
• ほ ಙྕ
• ᡭ㡰
䛻ᑐ䛩䜛 W 䛾ᑬᗘ
» ほ ಙྕ䜢ⓑⰍ໬䠊┦㛵⾜ิ䛾ᅛ᭷್ศゎ䛻䜘䜛
• ⥺ᙧኚ᥮䛸☜⋡ᐦᗘ㛵ᩘ
» 䝴䝙䝍䝸ኚ᥮䠊FastICA䛻䜘䜛ຠ⋡ⓗ᭱㐺໬
• ⊂❧ᡂศศᯒ䛾ᐃᘧ໬
• ศ㞳ಙྕ y 䛾⊂❧ᛶ䜢௬ᐃ
䛻↷䜙䛩䛸
䛿䝷䝥䝷䝇ศᕸ䛺䛹
» ศ㞳⾜ิ䛿
• ௨ୖ䛛䜙ᑟ䛛䜜䜛ᑐᩘᑬᗘ䜢᭱኱໬䛩䜛 W 䜢ồ䜑䜛
• 㝈ᐃ䛥䜜䛯ᙧ
ḟ䛻䠈W 䛾ᙧ䜢㝈ᐃ䛧䛺䛔䜰䝹䝂䝸䝈䝮䜢⤂௓
35
36
50
部分空間法研究会2010
Natural Gradient [4,5]
᭱ᑬ᥎ᐃἲ
• 䝃䞁䝥䝹ᩘ T 䛷๭䜚䠈᭱኱໬䛩䜉䛝┠ⓗ㛵ᩘ䜢タᐃ
• ໙㓄ἲ䛷䛿䠈 W 䛾㏫⾜ิィ⟬䛜གྷ௓
• Natural gradient
» ཧ⪃: W 䜢䝴䝙䝍䝸⾜ิ䛻㝈ᐃ䛩䜜䜀FastICA䛸➼౯
• ໙㓄ἲ䛻䜘䜚 W 䜢᭱㐺໬
䛿㐺ษ䛻タᐃ䛥䜜䛯
䝇䝔䝑䝥䝃䜲䝈
» ㏫⾜ิィ⟬䛜୙せ
» Equivariance Property
• ΰྜ⾜ิ H 䛾ᙳ㡪䠄singular䛻㏆䛟୙Ᏻᐃ䛺䛹䠅䜢ཷ䛡䛺䛔
䛾ලయⓗ䛺ᙧ
• ICA䜰䝹䝂䝸䝈䝮 䠉 ௨ୗ䜢཰᮰䜎䛷⧞䜚㏉䛩
䝷䝥䝷䝇ศᕸ
㠀⥺ᙧ㛵ᩘG
37
38
Natural Gradient䛻䜘䜛᭱㐺໬䛾ᵝᏊ
• ㉥䠄䕕䠅:
䜢ึᮇ್
• ⥳䠄䕧䠅:
䜢ึᮇ್
䜒䛖ᑡ䛧㐪䛳䛯ほⅬ䛛䜙䛾ᡭἲ
• 䛣䜜䜎䛷ㄝ᫂䛧䛯⊂❧ᡂศศᯒ
» ṇつศᕸ䛛䜙㐲䛦䛡䜛䠈䜶䞁䝖䝻䝢䞊䜢ῶ䜙䛩
• ほ ಙྕ䛾ⓑⰍ໬䛾᭷↓䛻㛵䜟䜙䛪䠈Ⰻዲ䛻ゎ䛻཰᮰
» ṇつศᕸ䛸䛿␗䛺䜛ศᕸ䜢௬ᐃ䛧䠈᭱ᑬ᥎ᐃ
Non-gaussianity
• ಙྕ䛾ྠ᫬↓┦㛵໬䛻䜘䜛ศ㞳᪉ἲ
» ஧ḟ⤫ィ㔞䠄䠙┦㛵⾜ิ䠅䛾䜏䜢฼⏝
» ಙྕ䛾㠀ᐃᖖᛶ䛻ᇶ䛵䛟
» ᗈ䛔ព࿡䛷䛾⊂❧ᡂศศᯒ䠄ICA䠅 = BSS
Non-stationarity
39
40
୍⯡໬ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ [6]
ྠ᫬↓┦㛵໬
• ほ ಙྕ x 䛛䜙஧䛴䠄௨ୖ䠅䛾༊㛫䜢タᐃ
• ஧䛴䛾ᑐゅ⾜ิ䜢ู䛾ᑐゅ⾜ิ䛷㛵㐃௜䛡
» ౛䛸䛧䛶䠈1) ඲య 䛸 2) ᭱ึ1/4
• D 䜢ᾘཤ䛩䜛䛸 ୍⯡໬ᅛ᭷್ၥ㢟䛾ᙧ䛻䛺䜛
• 䛭䜜䜙䛾༊㛫䛻㛵䛧䛶┦㛵⾜ิ䜢ィ⟬
W 䛾㏫⾜ิ䜢
ᕥ䛛䜙䛛䛡䜛
• ศ㞳ಙྕ
䛾䛭䜜䛮䜜䛾༊㛫䛾┦㛵⾜ิ䜢
ᑐゅ໬䛩䜛 W 䜢ศ㞳⾜ิ䛸䛧䛶ồ䜑䜛
• ୍⯡໬ᅛ᭷್ศゎ䛿ከ䛟䛾ሙྜ䠈䝹䞊䝏䞁䛜䛒䜛
» ౛䛘䜀Matlab䛷䛿
[E, D] = eig(Ra, Rq);
ᑐゅ⾜ิ
• ᚓ䜙䜜䛯 E 䜢⏝䛔䛶䠈
41
䛜ศ㞳⾜ิ
42
51
部分空間法研究会2010
ྠ᫬↓┦㛵໬䛾┤ឤⓗㄝ᫂
᭱ึ1/4༊㛫䜢
ྲྀ䜚ฟ䛩䛸┦㛵䜢
ᣢ䛴䛣䛸䛜Ⓨぬ
඲య䜢ⓑⰍ໬
ྠ᫬↓┦㛵໬䛜䛖䜎䛟⾜䛛䛺䛔ሙྜ
᭱ึ1/4༊㛫䛜
↓┦㛵䛻䛺䜛䜘䛖
䛻ᅇ㌿
඲య䜢ⓑⰍ໬
᭱ึ1/2༊㛫䛷䜒
᪤䛻䛒䜛⛬ᗘ
↓┦㛵䛻䛺䛳䛶䛔䜛
᭱ึ1/2༊㛫䛜
↓┦㛵䛻䛺䜛䜘䛖
䛻ᅇ㌿
䋻 ศ㞳䛜୙༑ศ
䋻 ศ㞳䜢㐩ᡂ
43
44
ྠ᫬↓┦㛵໬
䜎䛸䜑
• ༊㛫䛾㑅ᢥ䛜㔜せ
• ୰ᚰᴟ㝈ᐃ⌮
» ┦㛵⾜ิ䛜༑ศ䛻␗䛺䛳䛶䛔䜛䛣䛸
» 䛹䜣䛹䜣ΰ䛬䜜䜀ṇつศᕸ䛻㏆䛵䛟
• ༊㛫䛾ᩘ䜢ቑ䜔䛩䛣䛸䛷ᡂຌ䛧䜔䛩䛟䛺䜛
» 䛯䛰䛧༊㛫䛜3ಶ௨ୖ䛻䛺䜛䛸䠈୍⯡໬ᅛ᭷್ศゎ
䛾⡆౽䛺᪉ἲ䛿฼⏝䛷䛝䛺䛔
• ⊂❧ᡂศศᯒ
» ⊂❧ 䠙 䜶䞁䝖䝻䝢䞊ῶ 䠙 ṇつศᕸ䛛䜙㐲
» ព࿡䛾䛒䜛㡢䛿䝷䝥䝷䝇ศᕸ䛷㏆ఝ䛷䛝䜛
» ຠ⋡ⓗ䜰䝹䝂䝸䝈䝮: FastICA䠈Natural gradient
» Joint Diagonalization
• ᐇ⎔ቃ䛷ΰ䛦䛳䛯㡢䜢ศ䛡䜛䛯䜑䛻䛿䠄ᐇᶵ䝕䝰䠅
ᵝ䚻䛺༊㛫
» ␚䜏㎸䜏ΰྜ䠄ṧ㡪䠅䜈䛾ᑐฎ䛜ᚲせ
䛾┦㛵⾜ิ䜢ྠ᫬䛻ᑐゅ໬
• ᫬㛫࿘Ἴᩘ㡿ᇦ䛷䛾ᡭἲ: 」⣲ᩘICA䛺䛹
45
46
࿘Ἴᩘ㡿ᇦBSS䛻㛵䜟䜛Ⓨ⾲ᩥ⊩
ཧ⪃ᩥ⊩
„ H. Sawada, R. Mukai, S. Araki, S. Makino, "Polar Coordinate based
Nonlinear Function for Frequency Domain Blind Source Separation,"
IEICE Trans. Fundamentals, vol.E86-A, no.3, pp. 590-596 (2003)
[1] A. Hyvärinen, J. Karhunen and E. Oja, Independent Component
Analysis, Wiley-Interscience (2001)
[2] A. Bell and T. Sejnowski, “An information-maximization approach to
blind separation and blind deconvolution,” Neural Computation,
7(6):1129-1159 (1995)
„ H. Sawada, R. Mukai, S. Araki, S. Makino, "A Robust and Precise
Method for Solving the Permutation Problem of Frequency-Domain
Blind Source Separation," IEEE Trans. Speech and Audio Processing,
vol.12, no. 5, pp. 530-538 (2004)
[3] J.-F. Cardoso, “Infomax and maximum likelihood for blind source
separation,” IEEE Signal Processing Letters, 4(4):112-114 (1997)
„ H. Sawada, S. Araki, S. Makino, "Frequency-Domain Blind Source
Separation," in Blind Speech Separation, S. Makino, Te-Won Lee,
and H. Sawada, Eds, Springer (2007)
[4] S. Amari, A. Cichocki and H.H. Yang, “A new learning algorithm for
blind signal separation,” In Advances in Neural Information
Processing Systems (NIPS), vol. 8, pp. 757-763 (1996)
„ H. Sawada, S. Araki, S. Makino, "MLSP 2007 Data Analysis
Competition: Frequency-Domain Blind Source Separation for
Convolutive Mixtures of Speech/Audio Signals," Proc. IEEE
International Workshop on Machine Learning for Signal Processing
(MLSP), pp. 45-50 (2007)
[5] A. Cichocki and S. Amari, Adaptive Blind Signal and Image
Processing, Wiley (2002)
[6] L. Parra and P. Sajda, “Blind source separation via generalized
eigenvalue decomposition,” Journal of Machine Learning Research,
4:1261-1269 (2003)
47
48
52
部分空間法研究会2010
Ⴘഏ
1. ᩼᝟͌ᘍЗ‫܇׆‬ЎᚐίNMFὸểỊ
᩼᝟͌ᘍЗ‫܇׆‬Ўᚐλᧉ
῍᪦᪪̮ӭϼྸử᫆஬ểẲề῍
ದ˴Ệ̅ảỦỉẦί᪦᪪̮ӭϼྸử᫆஬ểẲềὸ
ದỄỉợạễࣱឋầẝỦỉẦ
ದỄỉợạỆ൭ỜỦỉẦ
ದወᚘἴἙἽểẲềỉᚐ᣷ểỴἽἆἼἌἲỉɟᑍ҄
ದ˂ỉ২ᘐểỄạ᧙̞ẲềẟỦỉẦ
ʒ‫ࢀޢ‬ԧ
2. ᙐእNMF [H. Kameoka et al., 2008]
ଐஜᩓ̮ᩓᛅఇࡸ˟ᅈ
NTTἅἱἷἝἃὊἉἹὅᅹ‫ؕܖ‬ᄽᄂᆮ৑
[email protected]
ದNMFỆấẬỦբ᫆ໜ
ದᚐൿỉẺỜỉỴỶἙỵỴ
ದNMFểỄạ᧙̞ẲềẟỦỉẦ
ᢿЎᆰ᧓ඥᄂᆮ˟ 2010࠰7உ26ଐ
1
2
᩼᝟͌ᘍЗ‫܇׆‬Ўᚐ(NMF)ểỊ
ễặ᩼᝟͌ễỉẦᾎẸỉॖ‫׋‬Ịᾎ
• ἙὊἑᘍЗỉ᩼᝟ࣱ
• ᩼᝟͌ᘍЗửᾁếỉ᩼᝟͌ᘍЗỉᆢỂᘙྵ
– ܱɭမỆỊ᩼᝟͌ἙὊἑầ‫ٶ‬ẟ
ί̊ὸ ἣὁὊἋἬἁἚἽύဒእ͌ύࡇૠύ
• ؕࡁᘍЗỉ᩼᝟ࣱ
– Ẑ᩼᝟͌ἙὊἑỉನ঺ᙲእờộẺ᩼᝟͌ἙὊἑ
ỂẝỦỔẨ(ỂễẟểཋྸႎỆॖԛửễẰễẟὲ)ẑ
ểẟạᎋả૾
• ᘍЗ‫܇׆‬Ўᚐỉࣖဇ‫ئ‬᩿
– ἨἻỶὅἛ̮ӭЎᩉ(Blind Signal Separation)
ί̊ὸ᝟ỉ͌ửờẾẺἣὁὊἋἬἁἚἽễỮềᚐ᣷ỉẲợạầễẟ
• ̞ૠᘍЗỉ᩼᝟ࣱ
– ἁἻἋἑἼὅἂ
– ನ঺ᙲእỉฆằụ૾ỊẐឱẲምẑỉỚ
– ̞ૠᘍЗửἋἣὊἋỆᛔ‫ ݰ‬Æ ؕࡁỉऴ‫إ‬᣽ửỴἕἩ
3
4
̞ૠᘍЗỉ᩼᝟ࣱỆếẟề
̞ૠᘍЗỉ᩼᝟ࣱỆếẟề
• ̞ૠầ᝟ỉ͌ửӕẾềờᑣẟ‫ئ‬ӳ
ؕࡁἫἁἚἽ
ᚇยἙὊἑ
• ̞ૠầ᝟ỉ͌ửӕẾềỊễỤễẟ‫ئ‬ӳ
̞ૠ
ؕࡁἫἁἚἽ
ᚇยἙὊἑ
+)
̞ૠ
+)
ἋἣὊἋ
5
6
53
部分空間法研究会2010
NMFầဃộủẺᏑ୎
PCAểNMFỉൔ᠋
HH
SN
BD
ᚇยἙὊἑỉ࠯‫͌ר‬ἫἁἚἽ
•ဒ΂ϼྸЎ᣼ỂဃộủẺ২ᘐ [D.D. Lee & H.S. Seung, 1999]
ίἡỶἡἕἚᵍἋ἟ỴἛἻἲᵍἢἋἛἻἲỉ᪦᣽ἣἑὊὅὸ
Æᤨೞ
–᫊ဒ΂ẦỤ᫊ἣὊ἖ửਁЈẴỦỉầႸႎ
–ಒࣞᐯ˳Ịᾈ὿࠰ˊЭҞỆႇ‫[ ئ‬P. Paatero & U. Tapper, 1994]
Ӳ‫׋‬ầᾀếỉἫἁἚἽỆ‫ࣖݣ‬
•᪦ỉἋἬἁἚἽửဒ΂ể
ᙸễẲềᢘဇίࢸᡓὸ
Æ᪦٣ЎᩉὉᐯѣ੔ᜧሁ
PCA
ؕࡁ
[P. Smaragdis et al., 2003]
ˌᨀಊỜề‫ٶ‬ૠ…
•јྙႎễӒࣄỴἽἆἼἌἲ
[D.D. Lee & H.S. Seung, 2000]
NMF
ؕࡁ
[D.D. Lee & H.S. Seung, 1999]ợụ৷ቦ
Ӳ‫׋‬Ị[D.P.W Ellis & J. Arroyo, 2004]ợụ৷ቦ
7
8
˴Ệ̅ảỦỉẦᾎί1/3ὸ
ԗඬૠḵ
NMFỂ᪦٣ἋἬἁἚἿἂἻἲửЎᚐẲềỚỦ
•᪦᪪̮ӭ
ჺ଺᧓ἧὊἼỺ‫٭‬੭
ί଺᧓ԗඬૠЎᚐὸ
• ᐯѣ੔ᜧ [P. Smaragdis et al., 2003]
㖸ჿ䮀䮡䭶䮏䮴䭷䮰䮧
J.S. Bach: Fuge #16 in G minor
ᾉ଺Ц Ệԗඬૠ ỉ঺Ўầ
ỄủỖỄԃộủềẟỦẦ
ฦၮᐩ䬽
䭩䭶䮍䭪䮚䮍䭪
ዌ‫͌ݣ‬ửểỦ
଺Цḵ
䮀䮘䯃䮀(⇹) 䬺䬹
䭚!
ԗඬૠḵ
ၮᐩ䮀䮡䭶䮏䮲
ૐ䮰䮺䭶䮀䮡䭶䮏䮴䭷䮰䮧
ၮᐩᢙ10
ၮᐩᢙ30
[P. Smaragdis et al., 2003]ợụ৷ቦ
➅䭙㄰䬦⃻䭛䭚䮀䮡䭶䮏䮲
䮘䮆䯃䮺䬛₪ᓧ䬤䭛䭚
9
଺Цḵ
10
˴Ệ̅ảỦỉẦᾎί2/3ὸ
˴Ệ̅ảỦỉẦᾎί3/3ὸ
•᪦ỉẐឬᚐ΂ẑ
• ૙ࠖẝụἴἠἻἽ᪦เЎᩉ [P. Smaragdis et al., 2007 ]
˯ἇὅἩἼὅἂἾὊἚỉ̮ӭ
[P. Smaragdis & B. Raj, 2007 ]
᪦٣ί‫ܖ‬፼ἙὊἑὸ
ฆӳ̮ӭίἘἋἚἙὊἑὸ
᭗ἇὅἩἼὅἂἾὊἚ̮ӭỉ‫ܖ‬፼ἙὊἑ
ἓἵỶἲί‫ܖ‬፼ἙὊἑὸ
ί‫ܭ׍‬ὸ
᭗ԗඬ࠘؏ầࣄΨẰủẺ̮ӭ
Ӳ‫׋‬Ị[P. Smaragdis et al., 2007]ợụ৷ቦ
‫ܭ׍‬
Ӳ‫׋‬Ị[P. Smaragdis & B. Raj, 2007]ợụ৷ቦ
12
11
54
部分空間法研究会2010
NMF ỉؕஜբ᫆
•
•
ỄỮễࣱឋầẝỦỉẦᾎ
̾ỉᚇยἙὊἑ(᩼᝟͌ἫἁἚἽ)
̾ỉ᩼᝟͌ؕࡁἫἁἚἽ
ỉ᩼᝟ኽӳỂ
ỄỉᚇยἙὊἑờᑣẪᘙྵỂẨỦؕࡁἍἕἚử൭ỜẺẟ
• FrobeniusἠἽἲᙹแỉNMF
ἙὊἑૠ
ể
ầ
ࢌỦẐІᥤẑ
ؕࡁૠ
Î
ỉểẨύӲؕࡁἫἁἚἽỊẟẪếẦỉᚇยἙὊἑỂσឪ
ẴỦἣἑὊὅίἣὊ἖ểԠốὸửᘙྵẴỦợạᛔ‫ݰ‬ẰủỦ
૲ʩؕࡁẻẦỤ̞ૠỊἋἣὊἋỆ
ễụởẴẟᾎ
Іᥤ
ể
ỉễẴᚌử
‫ٻ‬ẨẪẲẺ૾ầấࢽὲ
• े‫ܭ‬ẴỦཞඞ
– ἙὊἑỊ᩼᝟͌
– ᭗ẉ ᆔ᫏ỉἣὊ἖ẻẬỂẴỔềỉᚇยἙὊἑỊನ঺ẰủềẟỦ
ể
– ἣὊ἖ỉԧỂᚇยἙὊἑửἴἙἽ҄
ᨗỆСኖửλủềẟễẟỉỆ
ؕࡁầႺʩ҄ẰủỦͼӼỆᾎ 14
ầࢌỦᢿЎᆰ᧓
13
NMFỆấẬỦˊᘙႎễஇᢘ҄ᙹแ
ỄạởẾề൭ỜỦỉẦ
• FrobeniusἠἽἲᙹแ
• NMFỆấẬỦˊᘙႎễஇᢘ҄ᙹแ
ễỮểẦẲẺẟᢿЎ
– FrobeniusἠἽἲ
– IἒỶἢὊἊỹὅἋίɟᑍ҄KLἒỶἢὊἊỹὅἋὸ
• IἒỶἢὊἊỹὅἋίɟᑍ҄KLἒỶἢὊἊỹὅἋὸ
• ਀ẰảềấẪỔẨؕஜҾྸ
– ᙀя᧙ૠඥ
– ІɧሁࡸίJensenỉɧሁࡸὸ
ễỮểẦẲẺẟᢿЎ
ẟẵủờ
ỉểẨ ὿ ỆễỦ
15
16
਀ẰảềấẪỔẨؕஜҾྸί2/2ὸ
਀ẰảềấẪỔẨؕஜҾྸί1/2ὸ
• Jensenỉɧሁࡸ
• ᙀя᧙ૠඥ [J. de Leeuw, 1994]
ử฼ẺẴ
–
– ӒࣄỴἽἆἼἌἲ
–
–
ửᙀя᧙ૠể‫ܭ‬፯
ᙀя᧙ૠ
Ⴘႎ᧙ૠ
ᾉІ᧙ૠ
[1]
[2]
̊ảịẆ
[1]
ỉ‫ئ‬ӳᾉ
– ӓளࣱ
ӫᡀ
[2]
߼ᡀ
Ⴘႎ᧙ૠửႺ੗இ‫҄ݱ‬ẴỦỉầᩊẲẟễỤẆ
ểụẝảẵẸỉɥᨂ᧙ૠử˺ẾềỚợạὲ
18
17
55
部分空間法研究会2010
FrobeniusἠἽἲᙹแỉNMFỴἽἆἼἌἲ
FrobeniusἠἽἲᙹแỉNMFỴἽἆἼἌἲ
• Ⴘႎ᧙ૠ
• ᙀя᧙ૠầ‫঺ܦ‬ẲẺỤẝểỊἋἘἕἩᾀểἋἘἕἩᾁ
ử‫ݰ‬ЈẴủịOK!
[1]
• ɦዴᢿỆ‫ݣ‬ẲềJensenỉɧሁࡸửᇌềềỚỦ
ˊ
λ
[2]
• ᙀя᧙ૠầ‫঺ܦ‬
ộẺỊ
ắểỉʚഏ᧙ૠỉԧỆễẾềẟỦ
19
20
IἒỶἢὊἊỹὅἋᙹแỉNMFỴἽἆἼἌἲ
IἒỶἢὊἊỹὅἋᙹแỉNMFỴἽἆἼἌἲ
• Ⴘႎ᧙ૠ
• ᙀя᧙ૠầ‫঺ܦ‬ẲẺỤẝểỊἋἘἕἩᾀểἋἘἕἩᾁ
ử‫ݰ‬ЈẴủịOK!
[1]
• ɦዴᢿỆ‫ݣ‬ẲềJensenỉɧሁࡸửᇌềềỚỦ
ˊ
λ
[2]
• ᙀя᧙ૠầ‫঺ܦ‬
21
22
NMFỴἽἆἼἌἲỉɟᑍ҄
ወᚘἴἙἽểẲềỉᚐ᣷
• NMFỊˌɦửˎ‫ܭ‬ẲẺஇ‫ݹ‬ਖ਼‫ܭ‬բ᫆ểሁ̖
• BregmanἒỶἢὊἊỹὅἋ [L.M. Bregman, 1967]
– FrobeniusἠἽἲᙹแ
ḵਦૠЎࠋଈể‫ࣖݣ‬
ദᙹЎࠋ
Ị˓ॖỉࣇЎӧᏡễІ᧙ૠ
[A. Banerjee et al., 2005]
ể ầᡈẟỖỄ‫ݱ‬Ằẟ
ẺẻẲុᩉỉπྸ
Ị฼ẺẰễẟ(‫ݣ‬ᆅ
ࣱầ঺ụᇌẺễẟ)
– IἒỶἢὊἊỹὅἋᙹแ
PoissonЎࠋ
̊) ʚʈᛚࠀύIἒỶἢὊἊỹὅἋύெ̽ᱣᕲុᩉ
Š
Š
Š
23
56
24
部分空間法研究会2010
BregmanἒỶἢὊἊỹὅἋể‫ࣖݣ‬ẴỦុᩉ‫ࡇݿ‬
ᚇย͌
BregmanἒỶἢὊἊỹὅἋể‫ࣖݣ‬ẴỦ‫᧙ࡇݹ‬ૠ
NMF‫׹‬ἴἙἽ
ᚇย͌
NMF‫׹‬ἴἙἽ
[I.S. Dhillon & S. Sra, 2005]
ʚʈᛚࠀ
ʚʈᛚࠀ
GaussЎࠋ
GaussЎࠋ
ᵧἒỶἢὊἊỹὅἋ
ӑ‫ݣ‬ᵧἒỶἢὊἊỹὅἋ
PoissonЎࠋ
GammaЎࠋ
ெ̽૬ᕲុᩉ
ӑ‫ݣ‬ெ̽૬ᕲុᩉ
ਦૠЎࠋ
ᡞGammaЎࠋ
[H. Kameoka et al., 2006][C. Févotte et al., 2008]
25
26
NMFỴἽἆἼἌἲỉίỂẨỦẻẬὸɟᑍ҄
NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ‫҄ݱ‬
[M. Nakano et al., 2010]
• ᶾἒỶἢὊἊỹὅἋ [S. Eguchi & Y. Kano, 2001]
• Ⴘႎ᧙ૠ
BregmanἒỶἢὊἊỹὅἋỆấẟề
ểፗẟẺờỉ
• ᙀя᧙ૠỉᚨᚘ૾ᤆ
̊) ʚʈᛚࠀύIἒỶἢὊἊỹὅἋύெ̽ᱣᕲុᩉ
– Іɧሁࡸ
Š
– ੗ዴɧሁࡸ
І/Ї
І/Ї
І᧙ૠ
Ї᧙ૠ
Š
І᧙ૠ᪮ỉɥᨂửІɧሁࡸύЇ᧙ૠ᪮ỉɥᨂử੗ዴɧሁࡸ
ử̅ẾềᚨᚘẲύᙀя᧙ૠửನ঺ [H. Kameoka et al., 2006]
Š
27
28
NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ‫҄ݱ‬
NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ‫҄ݱ‬
[M. Nakano et al., 2010]
• ᙀя᧙ૠ
• ᙀя᧙ૠ ί̊ὸ
І
[M. Nakano et al., 2010]
ỉἃὊἋᾉ
Ї
І
Ї
ί̊ὸ
ỉἃὊἋᾉ
ẺẻẲύ
29
30
57
部分空間法研究会2010
NMF ể pLSA [T. Hofmann, 1999] ểỉ᧙̞
NMF ể pLSA [T. Hofmann, 1999] ểỉ᧙̞
(probabilistic Latent Semantic Analysis)
(probabilistic Latent Semantic Analysis)
•ӲᘍЗᙲእửᄩྙẻểᎋảềỚợạ
• pLSAỂỊӲ૨୿ɶỉҥᛖૠ
ửਖ਼‫ܭ‬
ẦỤ
ể
ỉ
IἒỶἢὊἊỹὅἋ
இ‫҄ݱ‬ểӷẳॖԛ
31
32
NMF ể Sparse coding [B.A. Olshausen, 1996] ểỉ᧙̞
• ̾ỉᚇยἙὊἑ(ܱૠ͌ἫἁἚἽ)
• ẴỔềỉᚇยἙὊἑầ ̾ỉܱૠ͌ؕࡁἫἁἚἽ
”ἋἣὊἋ”ễዴ࢟ኽӳỂᘙẰủỦؕࡁἍἕἚử൭ỜẺẟ
–exactễreconstruction
NMFỆợỦਰࠢἋἬἁἚἿἂἻἲỉЎᚐᘙྵỉբ᫆ໜ
᷹ⷰᝄ᏷䉴䊕䉪䊃䊦䉕ᝄ᏷䉴䊕䉪䊃䊦䊌䊷䉿䈱๺䈪䊝䊂䊦ൻ
ỉ
• ਰࠢἋἬἁἚἽỉьඥࣱửˎ‫ܭ‬ẲẺɧദᄩễἴἙἽ
– ਰࠢἋἬἁἚἽỊஜ࢘Ị᩼ьඥႎ ίьඥႎễỉỊඬ࢟ὲὸ
Î ἴἙἽᐯ˳ỆᛚࠀửԃỮỂẟỦ
NMFỂỊиഏјௐႎỆ
ἋἣὊἋỆễẾềẟẺỉỆ
‫ݣ‬Ẳύsparse codingỂ
ỊἋἣὊἋࣱἅἋἚỆợụ
ࢍСႎỆἋἣὊἋ҄
• ˮႻऴ‫إ‬ỉ્ూ
– ਖ਼‫ܭ‬ẲẺἴἙἽầඬ࢟Ệ‫ࣖݣ‬Ẳễẟ
– ඬ᪸࢟؏ỂܱྵẰủỦ‫ٶ‬Ẫỉ̮ӭϼྸඥểኵỚӳẶỤủễẟ
ѷᣐඥሁ
34
ૼἴἙἽẐᙐእNMFẑỉ੩క
ਰࠢἋἬἁἚἽỉ᩼ьඥࣱỆếẟề
ίඬ࢟ӷٟỊьඥႎὸ
ࢼஹỉNMFỉਵả૾
๟ᵄᢙ
ὉὉὉዴ࢟ễ‫٭‬੭
ίờẼỨỮьඥႎὸ
ዌ‫͌ݣ‬ửểỦ
࠼ẟ
ࣖဇ‫᧏ޒ‬
ᙐእἋἬἁἚἽỉɭမ
ˮႻửਾềỦẺỜΨỆ৏Ặễẟὲ
33
ჺ଺᧓ἧὊἼỺ‫٭‬੭
ί଺᧓ԗඬૠЎᚐὸ
ඬ࢟ỉɭမ
ᵆᝅ݈ễऴ‫إ‬ᵇ
ਰࠢἋἬἁ
ἚἽỉɭမ
‫ࡇݴ‬
᪦᪪̮ӭ
ԗඬૠ঺Ўỉ
ԃஊྙỉऴ‫إ‬
ᵬᵫᵤἴἙἽầ
ˎ‫ܭ‬ẰủỦɭမ
• ἋἣὊἋࣱἅἋἚ [B.A. Olshausen, 1996][G. Harpur, 2000]
–LpἠἽἲ
ᚇยਰࠢ
ἋἬἁἚἿἂἻἲ
ᘍЗY
ὉὉὉ᩼ዴ࢟ễ‫٭‬੭
rank1ᘍЗ
ίẝỦཎ‫ܭ‬᪦ỉỚỉ
ਰࠢἋἬἁἚἿἂἻἲὸ
ᤨ㑆
ᾉ଺Ц Ệԗඬૠ ỉ঺Ўầ
ỄủỖỄԃộủềẟỦẦ
ίਰࠢἋἬἁἚἽ
ӷٟỊ᩼ьඥႎὸ
᪦ᾀỉ
ਰࠢἋἬἁἚἽ
ἣὊ἖
NMFἴἙἽ
ᾎ
˴ᆔ᫏Ầỉ᪦
ẦỤễỦểˎ‫ܭ‬
ьඥࣱầ
঺ụᇌếὲ
ᙐእNMFỉᎋả૾
๟ᵄᢙ
–approximation
ᚇยᙐእ
ἋἬἁἚἿἂἻἲ
ᘍЗY
᩼rank1
ᙐእᘍЗ
ίẝỦཎ‫ܭ‬᪦ỉỚỉ
ᙐእἋἬἁἚἿἂἻἲὸ
䈖䉏䈏⇹䈮䈭䉎
䉋䈉䈮䊌䊤䊜䊷䉺
䉕ផቯ䈚䈢䈇
᪦ᾀầẟếᯚẾềẟỦẦ
ửᘙẴỴἁἘỵἥἘỵ
ᙲእỉዌ‫͌ݣ‬
ửểỦể“rank1”
ˮႻ
ἋἬἁἚἿἂἻἲ
ᙐእNMFἴἙἽ
ਰࠢἋἬἁἚἽ
„
ᙐእἋἬἁἚἿἂἻἲ
ửἴἙἽ҄
ᘍЗᆢỉ࢟ỆễỤễẟὲ
ίૼẲẟἁἻἋỉἋἣὊἋᘙྵἴἙἽὸ
35
36
58
部分空間法研究会2010
ᙐእNMFỴἽἆἼἌἲ
ᙐእNMFỴἽἆἼἌἲ
• ‫ܭ‬፯
–
–
–
–
• ᙀя᧙ૠඥ
ᙐእἋἬἁἚἿἂἻἲ
ਰࠢἋἬἁἚἽؕࡁ
ˮႻἋἬἁἚἿἂἻἲ
ἄỶὅ
䭡ḩ䬮䬨છᗧ䬽ቯᢙ
᪦᪪̮ӭἴἙἽ
subject to
• இᢘ҄բ᫆
࿁⋡䬽෻ᓳ⸘▚ᓟ䬽䮘䮰䮨䯃䮆୯:
Step 1)
ɟᑍ҄ദᙹЎࠋ
ᔅ䬩ᱜ୯
Step 2)
ᔅ䬩ᱜ୯
ἋἣὊἋദЩ҄᪮
Ị‫ف‬ьẲễẟὲ
37
NMFểሁ̖ểễỦவˑ
38
ᙐእNMFỊNMFửѼԃ
Step 1)
[வˑ1]
ử
И஖ᚨ‫ܭ‬ẴỦ
Step 2)
Ệ
NMFỆợỦ
ἴἠἻἽ̮ӭЎᩉ
ἙἴὅἋἚἾὊἉἹὅ
Ị
Step1, Step2Ệ‫ݣ‬Ẳề
ɧѣໜỆễẾềẟỦ
[வˑ2]
Step 3)
ửܱᘍ
䭡ḩ䬮䬨છᗧ䬽ቯᢙ
ቯᢙ
Lee & SeungỉʚʈᛚࠀᙹแỉNMFỴἽἆἼἌἲ[Lee & Seung, 2000]ểሁ̖!
39
40
ẐἏẑˌ‫ٳ‬Ị᪦᣽Ỽἧ
41
42
59
部分空間法研究会2010
ɟᢿỉؕࡁ᧙ૠỆ‫ݣ‬ẲềỉỚἋἬἁἚἽ
˦጑‫࢟٭‬ử଀ẲẆฆӳ̮ӭửϐನ঺
ίἋἬἁἚἽ˦጑ỊἦἕἓἚἻὅἋἯὊἌ
ỆႻ࢘ẇ̊ảịἚἻὅἋἯὊἌẐὼᾀẑỊẆ
Ҟ᪦ɦậểẟạॖԛẇὸ
ẐἏẑẻẬ᪦᣽Ỽἧ
43
44
45
[1] D. P. W. Ellis and J. Arroyo, “Eigenrhythms: Drum pattern basis sets for classification
and generation,” Proc. ISMIR 2004, pp. 554-559, 2004.
[2] D. D. Lee and H. S. Seung, “Learning the parts of objects with nonnegative matrix
factorization,” Nature, vol. 401, pp. 788–791, 1999.
[3] P. Paatero, U. Tapper, “Positive matrix factorization: A non-negative factor model with
optimal utilization of error estimates of data values,” Environmetrics 5: 111–126, 1994.
[3] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for music
transcription,” Proc. WASPAA 2003, pp. 177–180, 2003.
[4] D.D. Lee and H.S. Seung, “Algorithms for nonnegative matrix factorization,” Proc.
NIPS 2000, pp. 556–562, 2000.
[5] P. Smaragdis, B. Raj, M.V. Shashanka, “Supervised and semi-supervised separation of
sounds from single-channel mixtures," Proc. 7th International Conference on Independent
Component Analysis and Signal Separation, 2007.
[6] P. Smaragdis and B. Raj, ”Example-driven bandwidth expansion,” Proc. WASPAA
2007, in CD-ROM, 2007.
[7] L.M. Bregman, “The relaxation method of finding the common points of convex sets
and its application to the solution of problems in convex programming,” USSR
Computational Mathematics and Mathematical Physics 7: pp. 200–217, 1967.
[8] A. Banerjee, S. Merugu, I.S. Dhillon and J. Ghosh, “ Clustering with Bregman
divergences,” Journal of Machine Learning Research 6, pp. 1705–1749, 2005.
[9] I.S. Dhillon and S. Sra, “Generalized nonnegative matrix approximations with
Bregman divergences ,” Proc. NIPS 2005, pp. 283-290, 2005.
46
ộểỜ
Ӌᎋ૨ྂ
1. ᩼᝟͌ᘍЗ‫܇׆‬ЎᚐίNMFὸểỊ
˴Ệ̅ảỦỉẦί᪦᪪̮ӭϼྸử᫆஬ểẲềὸ
„ ỄỉợạễࣱឋầẝỦỉẦ
„ ỄỉợạỆ൭ỜỦỉẦ
„ ወᚘἴἙἽểẲềỉᚐ᣷ểỴἽἆἼἌἲỉɟᑍ҄
„ ˂ỉ২ᘐểỄạ᧙̞ẲềẟỦỉẦ
„
2. ᙐእNMF [H. Kameoka et al., 2008]
–NMFỆấẬỦբ᫆ໜ
–ᚐൿỉẺỜỉỴỶἙỵỴ
–NMFểỄạ᧙̞ẲềẟỦỉẦ
Ӌᎋ૨ྂ
[10] J. de Leeuw. Block-relaxation methods in statistics. In H.H. Bock, W. Lenski, and M.M.
Richter, editors, Information Systems and Data Analysis, Berlin, 1994. Springer Verlag.
[11] ʒ‫ޢ‬, ࢸᕲ, ߜ޶‫ޛ‬, “ἋἬἁἚἽСࣂỺὅἫἿὊἩỆợỦฆӳ᪦ɶỉԗ஖ấợỎ᩼ԗ஖঺Ў
ỉᢠ৸ႎỶἅἻỶἈ,” ऴϼᄂ‫إ‬, 2006-MUS-66-13, pp. 77-84, 2006.
[12] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization with the
Itakura-Saito divergence with application to music analysis,” Technical Report
TELECOM ParisTech 2008D006, 2008.
[13] S. Eguchi and Y. Kano, “Robustifying maximum likelihood estimation,” Technical
report, Institute of Statistical Mathematics, Research Memo. 802, 2001.
[14] M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono and S. Sagayama,
“Convergence-guaranteed multiplicative algorithms for nonnegative matrix
factorization with beta-divergence,” Proc. MLSP2010, to appear.
[15] B.A. Olshausen, and D.J. Field, “Emergence of simple-cell receptive field properties by
learning a sparse code for natural images,” Nature, vol. 381, pp. 607–609, 1996.
[16] G. Harpur, R. Prager, “Experiments with low-entropy neural networks,” in R.
Baddeley, P. Hancock, P. Földiák (eds.) Information Theory and the Brain, Cambridge
University Press, pp. 84-100, 2000.
[17] T. Hofmann, “Probabilistic latent semantic analysis,” Proc. UAI , pp. 289-296, 1999.
[18] ʒ‫ޢ‬, ‫ݱ‬᣼, ௥᣼, ߜ޶‫ޛ‬, “ᙐእNMF: ૼẲẟἋἣὊἋ̮ӭЎᚐᘙྵểؕࡁኒ‫ܖ‬፼ỴἽἆἼ
Ἄἲ,” ଐஜ᪦᪪‫˟ܖ‬2008࠰ᅸ‫ܓ‬ᄂᆮႆᘙ˟ᜒ๫ᛯ૨ᨼ, 2-8-13, pp. 657-660, 2008.
47
60
部分空間法研究会2010
໧㗴⸳ቯ
㔚⹤䈏䈎䈎䈦䈩䈐䈩⹤䉕䈚䈩䈇䉎႐ว䇮
㔚⹤䈏䈎䈎䈦䈩䈐䈩⹤䉕䈚䈩䈇䉎႐ว
䋨䋱䋩⺕䈎䉌䈱㔚⹤䈭䈱䈎 ⹤⠪ᖱႎ
䋨䋲䋩䈬䈱䉋䈉䈭ౝኈ䈪
㖸㖿ᖱႎ
䋨䋳䋩వᣇ䈲䈬䉖䈭ᗵᖱ䉕ᜬ䈦䈩䈇䉎䈱䈎 ᗵᕈᖱႎ
㔀㖸
䋨䋴䋩㔀㖸䈏䈎䈭䉍㊀⇥䈚䈩䈇䈩䉅
ੱ䈲ኈᤃ䈮䇮䈖䉌䉏䈱ᖱႎ䉕⡞䈐ಽ䈔䉎䈖䈫䈏䈪䈐䉎䇯
㖸ჿಣℂߣㇱಽⓨ㑆ᴺ
Subspace method in speech processing
⎇ⓥ⋡⊛
㖸ჿାภ䈎䉌 ฦᖱႎ䈫㔀㖸䉕ಽ㔌᛽಴䈚 ⹺⼂䈜䉎
㖸ჿାภ䈎䉌䇮ฦᖱႎ䈫㔀㖸䉕ಽ㔌᛽಴䈚䇮⹺⼂䈜䉎
¾⹤⠪⹺⼂䊶⹤⠪ᾖว
•ᄢ⺆ᒵㅪ⛯㖸ჿ⹺⼂
ᄢ⺆ᒵㅪ⛯㖸ჿ⹺⼂
¾⹤⠪ㆡᔕ
ㆡ
•㖸ჿᖱႎᬌ⚝
¾ᗵᖱ⹺⼂
•㖸ჿኻ⹤
㖸ჿኻ⹤
¾㖸ჿ⹺⼂
㖸ჿ
¾㖸ჿᒝ⺞䊶․ᓽ᛽಴
␹ᚭᄢቇ 䉲䉴䊁䊛ᖱႎቇ⎇ⓥ⑼
ᖱႎ⑼ቇኾ᡹
᦭ᧁᐽ㓶
㖸ჿ↢ᚑ䊝䊂䊦
S (Z )
G (Z ) ˜ H (Z ) ˜ R (Z )
ᵄߩᵄ㐳‫ޓ‬㧦‫ޓ‬
ᵄ
ᵄ㐳
O‫ޓ‬
(m)
2k -1
ჿ㆏㐳 ‫ޓ‬㧦‫ޓ‬
㧦
<O ‫ޓ‬0.17 (m)
4
ᵄߩ๟ᵄᢙ㧦‫ޓ‬f ( Hz)
ᵄߩㅦᐲ
ᵄߩㅦᐲ‫ޓ‬㧦‫ޓ‬
v O‫ޓ‬
< f 340 (m / sec))
㖸ჿାภ
S(Z)
t
R(Z )
᡼኿
ჿ㆏౒ᝄ
䉟䊮䊌䊦䉴ᔕ╵
H (Z )
㚟േ㖸Ḯ
ήჿ㖸
t
10ms
u
㔀㖸
㖸ჿེቭ䈱ㇱ૏䈫ฬ⒓
㖸ჿାภ䈱․ᓽ
ㅒ䊐䊷䊥䉣ᄌ឵
1500
ၮᧄ๟ᵄᢙ䋨ჿᏪᝄേ䋩
㖸ჿାภ䈱․ᓽ
䉟䊮䊌䊦䉴ᔕ╵
䊐䉤䊦䊙䊮䊃䋨ჿ㆏౒ᝄ䋩
500
u
2500 Hz
H
f
䊐䊷䊥䉣ᄌ឵
||
u
2500 Hz
f
㖸ჿᵄᒻ
ჿᏪᝄേ
2500䌈䌺
1500䌈
1500䌈䌺
500䌈䌺
t
||
㖸ჿାภᤨ㑆ᵄᒻ
1500
ᤨ㑆
ၮᧄ๟ᵄᢙ
10ms
㖸ჿାภ䈱䉴䊕䉪䊃䊦䋨๟ᵄᢙ․ᕈ䋩
500
㐿᡼
t
f
100Hz
࿕ቯ
ໃ
k 1 ╙㧝ࡈࠜ࡞ࡑࡦ࠻
╙㧝ࡈ ࡞ࡑࡦ࠻ ‫ޓޓ‬500Hz
H
‫ޓ‬㧔╙1౒ᝄ๟ᵄᢙ㧕
࠻ ‫ޓޓ‬
k 2 ╙㧞ࡈࠜ࡞ࡑࡦ࠻
╙
1500Hz
k 3 ╙㧟ࡈࠜ࡞ࡑࡦ࠻‫ޓޓޓ‬
2500Hz
t
䉟䊮䊌䊦䉴೉
ჿ㆏
2k -1 340
<
0 17
0.17
4
f
340
?f
<(2k -1)
1) 500<(2k -1)
1) ( Hz
H)
4 u 0.17
t
G (Z )
᦭ჿ㖸
ჿ㐷
ჿ㆏䈪䈱౒ᝄ๟ᵄᢙ
ჿ㆏౒ᝄ(䉴䊕䉪䊃䊦)
t
61
部分空間法研究会2010
㖸ჿାภ䈱․ᓽ
㖸ჿାภ䈱․ᓽ Cepstrum(䉬䊒䉴䊃䊤䊛䋩
㖸ჿ䉕․ᓽ䈨䈔䈩
䈇䉎䈱䈲 ჿ㆏౒ᝄ
䈇䉎䈱䈲䇮ჿ㆏౒ᝄ
䋨䉴䊕䉪䊃䊦䋩 H(Z)
䈪䈅䉎
⓹ដ䈔
䉬䊒䉴䊃
䊤䊛⓹
ჿ㆏㐳䈱㆑䈇
ჿ㆏䈱ᒻ䈱㆑䈇
u
⓹ដ䈔
ដ
㫓
㖸ჿାภ䈎䉌ჿ㆏䈱
౒ᝄ․ᕈ䉕ข䉍಴䈜
| G(Z)| x | H(Z)|
䊜䊦䊐䉞䊦
䉺䊷䊋䊮䉪
ᝄ
᏷
u
ૐᰴ䉬䊒䉴䊃䊤䊛ଥᢙ
0
500
1500
1000
1500
f
f ( xk )
2000
2500
3000
3500
argmax f ( xk _ Or )
r
=
62
¦Z f ( x )
i
i i
k
䊁䉴䊃䊂䊷䉺䈮ኻ䈜䉎᳢ൻ⢻ജ䈏㜞䈇
䊙䊷䉳䊮䋺
ቇ⠌䊂䊷䉺䈫⿥ᐔ㕙䈫䈱ᦨዊ〒㔌
min d i
i 1,", n
wT x b
⋡⊛㑐ᢙ㧦ᦨዊൻ
1
g( w , b)
|| w ||2
2
f ( xk _ O r )
fUBG ( xk _ O )
f ( xk _ O)
䈖䉏䉌䈱ផቯ䈮䈲EM
㩿㪜㫏㫇㪼㪺㫋㪸㫋㫀㫆㫅㪄㪤㪸㫏㫀㫄㫀㫑㪸㫋㫀㫆㫅㪀
䉝䊦䉯䊥䉵䊛䉕ታⴕ䈜䉎
⼂೎㑐ᢙ
f ( xk _ r ) f ( r )
f ( xk )
61
4
xi
di
䌁䈘䉖એᄖ
f ( x k _ O rˆ )
t T2
f UBG ( x k _ O )
P1
P3 6
P26
2
3
P4 6
䌁䈘䉖
䌃䈘䉖
f ( r _ xk ))=
f
㪞㪤㪤
㪉㪅 㪪㪭㪤 㪲㪉㪴 㪈㪐㪐㪍
੐ᓟ⏕₸
2500 H z
1500
H(Z )ჿ㆏౒ᝄ
log| H(Z)|
Z i : ᷙวଥᢙ
䃩
xk
⹤⠪⹺⼂ rˆ
500
6 i : ಽᢔ౒ಽᢔⴕ೉
f (xk _ OC )
f ( xk _ O r )
t T1
⹤⠪ᾖว
fUBG ( xk _ O )
f
䂾
1
ª 1
º
exp « ( xk P )T 61 ( xk P )»
(2S )d /2 | 6 |1/2
¬ 2
¼
䌂䈘䉖
䌁䈘䉖
u
G(Z ) ჿᏪᝄേ
ჿᏪᝄ
ૐᰴ䉬䊒䉴䊃䊤䊛ଥᢙ
Pi : ᐔဋ䊔䉪䊃䊦
ဋ䊔
4000
MFCC: 䋱䋲ᰴర
MFCC: 䋱䋲ᰴర
MFCC: 䋱䋲ᰴర
f (xk _ OB)
f (xk _OA)
F 1 log | H (Z ) |
6
P ಽᢔ
ᐔဋ ౒ಽᢔ
ࡌࠢ࠻࡞ ⴕ೉
๟ᵄᢙ(Hz)
log|
g| H(Z)|
䌄䌃䌔
1.0
09
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
01
0.1
0.0
2500 Hz
u
500
| H(Z)|
㫃㫆㪾
F logg | G(Z ) |
1
㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫆㪻㪼㫃
S(Z ) G(Z )H(Z )
㫓
log | G(Z)| log | H(Z)|
⹤⠪⹺⼂䊶⹤⠪ᾖว
䋨䋱䋩ㇱಽⓨ㑆ᴺએᄖ
䋱㪅 㪞㪤㪤 㩿㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫀㫏㫋㫌㫉㪼 㪤㫆㪻㪼㫃䋺ᷙวᱜⷙಽᏓ㪀 㪲㪈㪴 㪈㪐㪐㪌
㖸ჿାภ䈱䉴䊕䉪䊃䊦
㪛㪝㪫
Cepstrum
㫓
㪛㪝㪫
㖸ჿାภ䈱․ᓽ MFCC(䊜䊦๟ᵄᢙ䉬䊒䉴䊃䊤䊛ଥᢙ䋩
log
IDFT
S(Z ) G(Z )H(Z )
㪠㪛㪝㪫
G (Z ) ˜ H (Z ) ˜ R (Z )
㖸ჿ s( t )
Spectrum
㫃㫆㪾 㫓
↵ᕈ
DFT
u
㪛㪝㪫
ᅚᕈ
ჿᏪᝄേ䈫ჿ㆏౒ᝄ
䈱⇥䉂ㄟ䉂䈫䈚䈩↢ᚑ
䈘䉏䉎㖸ჿ䈎䉌䇮
䈬䈱䉋䈉䈮ჿ㆏౒ᝄ
䈱䉂䉕ข䉍಴䈜䈎䇯
S (Z )
Time
㖸ჿ s( t ) 㖸ჿାภ䈎䉌ჿ㆏䈱
౒ᝄ․ᕈ䉕ข䉍಴䈜
0
min
w T xi b
w
i 1,", n
ࡑ࡯ࠫࡦᦨᄢൻ㧦wߣbߩ᳿ቯ
w T xi b
‫ޓޓ‬
max min
1 ", n
w , b i 1,
w
೙⚂㧦 min w T xi b
i 1,", n
T
‫ޓޓޓޓ‬yi ( w xi b ) t 1
‫ޓޓޓޓ‬yi ^ 1, 1`
1‫ޓ‬
部分空間法研究会2010
䊤䉫䊤䊮䉳䉢㑐ᢙ䋺
✢ ᒻ ⼂ ೎ 㑐 ᢙ f ( x㧦
)
n
1
2
La ( w , b , O )
w ¦ O i ^ y i ( w T x i b ) 1`
2
i 1
wߣ bߦ 㑐 ߒ ߡ ᦨ ዊ ൻ ‫ ޔ‬O ߦ 㑐 ߒ ߡ ᦨ ᄢ ൻ
೙⚂᧦ઙઃ߈㕖✢ᒻᦨㆡൻ໧㗴ߣߒߡ⸃ߊ
n
¦ Oi* yi xi b*
w*
i 1
f (I ( x ))
n
¦O
㪊㪅 㪞㪤㪤㪄㪪㪭㪤 㪲㪊㪴 㪉㪇㪇㪍
P1
P
61
P3 6
P26
2
3
P4 6
4
ª P1 º
«P »
« 2»
« P3 »
« »
¬ P4 ¼
*
i
y i x iT x b *
䉴䊷䊌䊷䊔䉪䊃䊦 䉕૶䈦䈩
SVM䉕ቇ⠌䈚 ⹺⼂䈜䉎
SVM䉕ቇ⠌䈚䇮⹺⼂䈜䉎
᷹ⷰⓨ㑆
䌁䈘䉖
1
X 䈱․⇣୯ಽ⸃䋺 X V 6 2U T
ಽᢔ౒ಽᢔⴕ೉䋺 C
T
XX
ౝⓍⴕ೉䋺㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷G
X T X U 6U T
V 6V T
䊁䉴䊃䊂䊷䉺䋺 Y
ᐔဋᒁ▚ᓟ䋺 Y
V
6
1
x 3 x
n
M2
ᱜⷙ⋥੤ၮᐩ M 1 , M 2 , M 3
䊂䊷䉺㓸ว䈣䈔䉕⴫⃻䈜䉎
ዊ䈘䈭ⓨ㑆䋽ㇱಽⓨ㑆
⹺⼂䋺
䊁䉴䊃䊂䊷䉺䈫ㇱಽⓨ㑆䈱〒㔌
䉕䈬䈱䉋䈉䈮᳞䉄䇮䉪䊤䉴⼂೎
䉕ⴕ䈉䈱䈎
㕖✢ᒻൻ㧦㕖✢ᒻᄌ឵㑐ᢙ I ( x ) 㪲㪌㪄㪏㪴 㪈㪐㪐㪏㪃㪈㪐㪐㪐㪃 㪉㪇㪇㪇
ቇ⠌䊂䊷䉺䋺
ቇ⠌䊂
䉺䋺 X
ᐔဋᒁ▚ᓟ䋺 X
( y1 ," , yn )
( y 1 ," , y n )
6 1 2 , V T
XU
ㇱಽⓨ㑆
ᐔဋࡌࠢ࠻࡞
ᐔဋ
ࠢ
ቇ⠌䋺
䊂 䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩
䊂䊷䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩䇮
ㇱಽⓨ㑆䈱ᱜⷙ⋥੤ၮᐩ䉕
᳞䉄䉎䈎
䊂䊷䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩䇮ㇱಽⓨ㑆䈱ᱜⷙ⋥੤ၮᐩ䉕᳞䉄䉎䈎
( x1 ," , xn )
( x 1 ," , x n )
P
ㇱಽⓨ㑆
䊂䊷䉺㓸ว䋨䉪䊤䉴A)
䌃䈘䉖
x 2
x 1
P
䃩
xk
ቇ⠌䊂䊷䉺䋺 X
ᐔဋᒁ▚ᓟ䋺 X
x1
M3
M1
ᐔဋࡌࠢ࠻࡞
䌂䈘䉖
䌃䈘䉖
yiI ( xi )T I ( x ) b*
Ÿ Aߐࠎ
x2 x x
3
n
ੱ(s)䈱⊒⹤(k)Ფ䈮䇮
䌇䌍䌍䋭䌕䌂䌇䉕ㆡᔕ䈘䈞䉎
f ( xk _ OC )
䌁䈘䉖
i
⹤⠪⹺⼂䊶⹤⠪ᾖว
䋨2䋩ㇱಽⓨ㑆ᴺ
㪋㪅 ㇱಽⓨ㑆ᴺ㪲㪋㪴 㪈㪐㪐㪋
GMM䈱ᐔဋ䊔䉪䊃䊦䉕ਗ䈼
䉴䊷䊌䊷䊔䉪䊃䊦
䉴
䊌 䊔䉪䊃䊦 䉕૞䉎
䌂䈘䉖 f (xk _ OB )
i
*
i
ࠞ࡯ ࡀ ࡞ 㑐 ᢙ㧦
ࠞ
ᢙ K ( x i , x ) I ( x i )T I ( x )
K ( x , y ) (1 x T y ) p ‫ ޓޓ‬pᰴᄙ㗄ᑼ㑐ᢙ
§ || x - y ||2 ·
K ( x , y ) exp ¨ ¸ RBF
2 p2 ¹
©
ੱᲤ䈮䇮ⶄᢙ䈱䉴
ੱᲤ䈮
ⶄᢙ䈱䉴䊷䊌䊷䊔䉪
䊌 䊔䉪
䊃䊦䉕૶䈦䈩SVM䉕ቇ⠌䈜䉎
䌇䌍䌍䋭䌕䌂䌇
f (xk _ OA)
*
i
i 1
i 1
㪞㪤㪤
i 1
>0
¦ O y K ( x , x) b ‫ޓ‬
✢ ᒻ ⼂ ೎ 㑐 ᢙ f ( x㧦
)
w *T x b *
n
¦O
w *T I ( x ) b *
n
x s : ࠨࡐ࡯࠻ࡌࠢ࠲࡯
f ( x)
y i x iT x b *
*
i
㕖✢ᒻ⼂೎㑐ᢙ㧦㕖✢ᒻᄌ឵㑐ᢙ I ( x )
ys w *T x s i 1
n
¦O
w *T x b *
‫ޓ‬f ( x)
(I ( x1 ),
) " , I ( xn ))
(I ( x 1 )," , I ( x n ))
1
X 䈱․⇣୯ಽ⸃䋺 X V 6 2U T
U T X T
2
ಽᢔ౒ಽᢔⴕ೉䋺 C
V 䈲䇮ಽᢔᦨᄢၮḰ䈪᳞䉄䈢
ቇ⠌䊂 䉺 X 䈱ᱜⷙ⋥੤ၮᐩ
ቇ⠌䊂䊷䉺
䈱ᱜⷙ⋥੤ၮᐩ䇯
࿕᦭୯䈱ᄢ䈐䈇࿕᦭䊔䉪䊃䊦
䈪᭴ᚑ䈜䉎䇯䇭䋨ਥᚑಽಽᨆ䋩
᭴ᚑ䈜䉎䇯 䋨 ᚑಽಽᨆ䋩
T
XX
V 6V
䊁䉴䊃䊂䊷䉺䋺
䊁䉴䊃䊂
䉺䋺 Y (I ( y1 ),
) ",I ( yn ))
ᐔဋᒁ▚ᓟ䋺 Y (I( y1 ),",I( yn ))
V
T
ౝⓍⴕ೉䋺䇭䇭䇭䇭 G X T X U 6U T
ౝⓍⴕ೉䋺䇭䇭䇭䇭 H X TY
6 1 2 , V T
XU
6
1
U T X T
2
V䈲䇮ಽᢔᦨᄢၮḰ䈪᳞䉄䈢
ቇ⠌䊂䊷䉺X䈱ᱜⷙ⋥੤ၮᐩ
䋨䉦䊷䊈䊦ਥᚑಽಽᨆ䋩
䋨䋱䋩䊁䉴䊃䊂䊷䉺 y k 䉕ㇱಽⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ䊔䉪䊃䊦 V T y k 䉕᳞䉄䉎
䋨䋱䋩䊁䉴䊃䊂䊷䉺
䋨䋱䋩䊁䉴䊃䊂
䉺 y k 䉕ㇱಽⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ
䉕ㇱಽⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ䊔䉪䊃䊦
䉪䊃䊦 V y k 䉕᳞䉄䉎
T
㽲ಽᢔ౒ಽᢔⴕ೉㪚 䉕࿕᦭୯ಽ⸃䈚䈩㪭 䉕᳞䉄
䉕᳞䉄䇮V T y k䉕᳞䉄䉎
㽲ಽᢔ౒ಽᢔⴕ೉㪚 䉕࿕᦭୯ಽ⸃䈚䈩㪭 䉕᳞䉄䇮V T y k䉕᳞䉄䉎
㽳ౝⓍⴕ೉㪞 䉕࿕᦭୯ಽ⸃䈚䈩 U 䈫 6 䉕᳞䉄䇮ᰴᑼ䈪᳞䉄䉎
1
1
V T y k 6 2U T X T y k 6 2U T H䊶 k 䋨H䊶 k X T y k䈪H X TY䈱╙k೉䋩
㽳ౝⓍⴕ೉㪞 䉕࿕᦭୯ಽ⸃䈚䈩 U 䈫 6 䉕᳞䉄䇮ᰴᑼ䈪᳞䉄䉎
䉕᳞䉄 ᰴᑼ䈪᳞䉄䉎
1
V T y k 6 2U T X T y k
ౝⓍⴕ೉㩷G䈫㩷H䈲䇮䈠䉏䈡䉏䉦䊷䊈䊦ⴕ೉ X T X䇮X TY 䉋䉍᳞䉄䉌䉏䉎
63
部分空間法研究会2010
䌂䈘䉖
ㇱಽⓨ㑆
䌁䈘䉖
ㇱಽⓨ㑆
䊁䉴䊃䊂䊷䉺䈫ㇱಽⓨ㑆䈱〒㔌䉕䈬䈱䉋䈉䈮᳞䉄䇮䉪䊤䉴⼂೎䉕ⴕ䈉䈎
䊁䉴䊃䊂䊷䉺 y k䈲䇮䈠䉏䉕ᦨ䉅䉋䈒⺑᣿䈪䈐䉎ㇱಽⓨ㑆䈮ዻ䈜䉎
䈲 䈠䉏䉕ᦨ䉅䉋䈒⺑᣿䈪䈐䉎ㇱಽⓨ㑆䈮ዻ䈜䉎
x1
x2 x3
x1x2 x3 xn
xn
᷹ⷰⓨ㑆
䃩yk
䊁䉴䊃䊂䊷䉺
䊂
y k 䈱ㇱಽⓨ㑆 Vr 䈻䈱኿ᓇ㊂ || V y k || 䈏ᦨᄢ
䈏
T
r
? rˆ
2
x2 x3
arg
g max || VrT y k ||2
xn
r
䊁䉴䊃䊂 䉺 y k 䈫ㇱಽⓨ㑆 Vr 䈫䈱〒㔌 || y k ||2 || VrT y k ||2 䈏ᦨዊ
䊁䉴䊃䊂䊷䉺
? rˆ
䌃䈘䉖
ㇱಽⓨ
ㇱಽⓨ㑆
x1
䋨䋱䋩ቇ⠌䋺䊂䊷䉺㓸ว䈎䉌ฦ䉪䊤䉴䈱ಽᢔ౒ಽᢔⴕ೉C䉕࿕᦭୯ಽ⸃
䋨䋱䋩ቇ⠌
䊂 䉺㓸ว䈎䉌ฦ䉪䊤䉴䈱ಽᢔ౒ಽᢔⴕ೉C䉕࿕᦭୯ಽ⸃
䈚䈩䇮ㇱಽⓨ㑆䈱ᱜⷙ⋥੤ၮᐩ䉕᳞䉄䇮䊁䉴䊃䊂䊷䉺䉕኿ᓇ䈚䈩
኿ᓇ䊔䉪䊃䊦䉕᳞䉄䉎䇯
኿ᓇ䊔䉪䊃䊦䉕᳞䉄䉎
㕖✢ᒻ䈱႐ว䈮䈲䇮ౝⓍⴕ೉G䉕࿕᦭୯ಽ⸃ 䈚䈩U䈫䉕᳞䉄䇮
䊁䉴䊃䊂䊷䉺䈱ㇱಽⓨ㑆䈻䈱኿ᓇ䊔䉪䊃䊦䉕᳞䉄䉎䇯
arg min || y k ||2 || VrT y k ||2 䇭䇭䈖䈱〒㔌䈱䈖䈫䉕ᛩᓇ〒㔌
r
M3
M1
|| y k ||2 䈲 F
y k
Y T Y 䈱
ㇱಽⓨ㑆 V r
䋨䋲䋩⹺⼂䋺䊁䉴䊃䊂䊷䉺䈱኿ᓇ䊔䉪䊃䊦䉋䉍䇮኿ᓇ㊂䈏ᦨᄢ䈫䈭䉎䉪䊤䉴
䈮ಽ㘃䈜䉎䇯䈅䉎䈇䈲䇮ᛩᓇ〒㔌䈏ᦨዊ䈫䈭䉎䉪䊤䉴䈮ಽ㘃䈜䉎䇯
M2
VrT y k
╙ k ⴕ k ೉䈱୯ Fk k
ᛩᓇ〒㔌
ᐔဋ䉕ᒁ䈒䋨ಽᢔ౒ಽᢔⴕ଀䋩䋺ਥᚑಽಽᨆ䇮 ᐔဋ䉕ᒁ䈎䈭䈇䋨⋧㑐ⴕ೉䋩䋺㪚㪣㪘㪝㪠㪚
㩿㪚㫃㪘㫊㫊㪄㪝㪼㪸㫋㫌㫉㫀㫅㪾 㪠㫅㪽㫆㫉㫄㪸㫋㫀㫆㫅 㪚㫆㫄㫇㫉㪼㫊㫊㫀㫆㫅㪑㪮㪸㫋㪸㫅㪸㪹㪼㪃㪈㪐㪍㪎㪀
኿ᓇ㊂
ᛩᓇ〒㔌䈫䊙䊊䊤䊉䊎䉴〒㔌
㩿㪊㪀㩷䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x) ( x P )T 61 ( x P )
p( x | Z ) p(Z )
䊔䉟䉵⼂೎
P( x)
1
ª 1
º
ᱜⷙಽᏓ p( x | Z )
ᱜⷙಽᏓ䋺䇭
exp « ( x P )T 6 1 ( x P ) »
(2S )d / 2 | 6 |1/ 2
¬ 2
¼
㜞ᰴ࿕᦭୯䈱ቯᢙൻ
n
¦
( x P , v i )2
i 1
㜞ᰴ࿕᦭୯䈱ቯᢙൻ
㩿㪉㪀 ⇼ૃ䊔䉟䉵䋺
㩿㪉㪀㩷⇼ૃ
䉟䉵䋺 g ( x )
k
¦
i 1
Oi
n
¦ log Oi
i 1
6 V /V T
n
k
T
i i i
( x P , vi )2
n
¦
G
i k+1
G ( x P , vi )2
Oi
1
k
i 1
i
G
䇭䇭䇭 || x P || ¦ (1 )( x P , vi )2
Oi
i 1
k
( x P , v i )2
Oi
n
¦
( x P , v i )2
i k 1
G
2
k
¦ log Oi i 1
n
¦ logG
i k +1
n
㜞ᰴ࿕᦭୯䈱ቯᢙൻ䈱㒰෰䋨㱐㪓㪓㱗㪀
¦
k
( x P , vi )2
㩿㪌㪀㩷ᛩᓇ〒㔌䋺䇭g( x) || x P ||2 ¦ ( x P , vi )2
Oi
i 1
㜞ᰴ࿕᦭୯䈱
ቯᢙൻ
(1) 䊔䉟䉵⼂೎
W
࿕᦭୯㗄䈱
㒰෰
࿕᦭୯㗄䈱
㗄
㒰෰
㜞ᰴ࿕᦭୯䈱
ቯᢙൻ
㜞ᰴㇱಽⓨ㑆
䈫䈱〒㔌䈱
ᒝ⺞
(3) 䊙䊊䊤䊉
䊎䉴〒㔌
n
¦ ( x P, v )
2
i
i k 1
㪌㪅 ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺ㪲㪐㪄㪈㪈㪴 㪈㪐㪏㪌㪃 㪉㪇㪇㪈㪃 㪉㪇㪇㪏
ᛩᓇ〒㔌䈱૏⟎䈨䈔䋺 䊙䊊䊤䊉䊎䉴〒㔌䈱ᰴర೥ᷫ
(5)ᛩᓇ〒㔌
Oi
䇭䇭䇭 || x P ||2 ¦ ( x P , vi )2 ¦
¦O v v
i 1
i 1
㜞ᰴ࿕᦭୯
䈱ቯᢙൻ䈱
㒰෰
( x P , vi )2
G ( x P , vi )2 n
¦ ( x P , vi )2
h( x) G g( x) ¦
Oi
i 1
i k+1
i 1
㩿㪊㪀㩷䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x) ( x P )T 61 ( x P )
(4) ⇼ૃ
䊙䊊䊤䊉䊎䉴〒㔌
Oi
k
࿕᦭୯㗄log||䈱㒰෰
(2) ⇼ૃ䊔䉟䉵
k
¦
㩿㪋㪀㩷⇼ૃ䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x)
⼂೎㑐ᢙ䋺 g( x) ( x P )T 61 ( x P ) log | 6 | 2log P(Z )
⼂೎㑐ᢙ䋺䇭
P()䈱ቯᢙൻ
( x P , vi )2
i 1
੐ᓟ⏕₸䋺䇭p(Z | x)
㩿㪈㪀㩷䊔䉟䉵⼂೎䋺 g ( x )
n
¦
㫅ᰴరㇱಽⓨ㑆
࿕᦭୯䈮
䊋䉟䉝䉴䉕
ട▚
ᱜḰⷺ T
Vr
mᰴరㇱಽⓨ㑆
䋨⹤⠪䊁䊮䊒䊧䊷䊃䋩
䋨⹤⠪䊁䊮䊒䊧
䊃䋩
䋨౉ജ⹤⠪䋩
ᡷ⦟
䊙䊊䊤䊉䊎䉴〒㔌
౉ജ․ᓽ䊔䉪䊃䊦䈫
ᐔဋ䊔䉪䊃䊦䈫䈱〒㔌
cos T
2
㊀䉂ઃ䈐
䊙䊊䊤䊉䊎䉴〒㔌
64
m ax
w W , v V r , w z 0 , v z 0
(w , v)
w
2
v
2
2
部分空間法研究会2010
⹤⠪⹺⼂䊶⹤⠪ᾖว
䉝䊦䉯䊥䉵䊛
᭴ 䇯
ฦ⹤⠪ ㇱಽ
㩿㪈㪀㩷ቇ⠌ᤨ♽೉䊂䊷䉺䈎䉌ฦ⹤⠪䈱ㇱಽⓨ㑆
⠌ᤨ♽
Vr䋨mᰴర䋩䉕᭴ᚑ䇯
䇭䇭䇭Vr
r
1
( v ," , v )
㪍㪅 ㇱಽⓨ㑆䌇䌍䌍㪲 㪈㪉㪴 㪉㪇㪇㪎
ᰴర䋩䉕᭴ᚑ
㩷㩷㩷㩷౉ജᤨ♽೉䊂䊷䉺䈎䉌౉ജ⹤⠪䈱ㇱಽⓨ㑆
౉ജᤨ♽೉䊂 䉺䈎䉌౉ജ⹤⠪䈱ㇱಽⓨ㑆W䋨nᰴర䋩䉕᭴ᚑ䇯
䇭䇭䇭W ( w1 ," , wn )
㩿㪉 㪀㩷ᰴ 䈱 ⴕ ೉ X 䉕 ᳞ 䉄 䉎 䇯
䇭䇭䇭X
m
¦ (w
( x ij ) 䇭 䇭 䇭 䇭 䇭 䇭 x ij
k 1
¾䊁䉴䊃䊂䊷䉺䉕ฦ⹤⠪䈱ㇱಽ
ⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ䊔䉪䊃䊦
䉕᳞䉄䉎 ฦ⹤⠪䈱GMM䉕
䉕᳞䉄䉎䇯ฦ⹤⠪䈱GMM䉕
૶䈦䈩ዕᐲ䉕⸘▚䈜䉎䇯
䌁䈘䉖
ㇱಽⓨ㑆
, v kr )( v kr , w j )
i
¾ቇ⠌䊂䊷䉺䉕ၮ䈮䇮ฦ⹤⠪䈱
ㇱಽⓨ㑆䉕᭴ᚑ䈚 ㇱಽⓨ
ㇱಽⓨ㑆䉕᭴ᚑ䈚䇮ㇱಽⓨ
㑆ౝ䈪GMM䉕ቇ⠌䈜䉎䇯
䋨3䋩ㇱಽⓨ㑆ᴺ䋫⏕₸
r
m
(3) 㩷ⴕ
ⴕ ೉ X 䈱 ࿕ ᦭ ୯ 䉕᳞ 䉄 䉎䇯
䇭䇭䇭 Xc O c
䌂䈘䉖
ㇱಽⓨ㑆
¾㑣୯䉕⿥䈋䉎ዕᐲᦨ
ᄢ䈱⹤⠪䈮ಽ㘃䈜䉎䇯
䌃䈘䉖
ㇱಽⓨ㑆
᷹ⷰⓨ㑆
╙ 䋱ᱜ Ḱ ⷺ 䇯䇭╙
╙ 䋱ᱜ Ḱ ⷺ 䈎 䉌
ᦨ ᄢ ࿕ ᦭ ୯ O max cos 2 T 䈲 䇮╙
╙ pᱜ Ḱ ⷺ 䉁䈪 䈱 ᐔ ဋ 䉕䇮䋲䈧 䈱 ㇱ ಽ ⓨ 㑆 䈱 㘃 ૃ ᐲ 䈫䈜 䉎䇯
䉎
ᦨ ᄢ 䈱 ᐔ ဋ ᱜ Ḱ ⷺ 䉕ᜬ 䈧 ⹤ ⠪ 䈮⹺ ⼂ 䈜 䉎䇯
䃩yk
㕖✢ᒻൻ䈚䈢ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺ䈏ឭ᩺䈘䉏䈩䈇䉎 㪲㪈㪈㪴
㪏㪅 㪣㪛㪘ㇱಽⓨ㑆䋫ᱜⷙಽᏓኻᢙዕᐲ 㪲㪈㪋㪴 㪈㪐㪏㪏
㪎㪅 ⋥੤⵬ㇱಽⓨ㑆䌇䌍䌍㪲 㪈㪊㪴 㪉㪇㪇㪉
¾ቇ⠌䊂䊷䉺䉕ၮ䈮䇮ฦ⹤⠪䈱
¾ቇ⠌䊂䊷䉺䉕ၮ䈮
ฦ⹤⠪䈱
ㇱಽⓨ㑆䉕᭴ᚑ䈚䇮⋥੤⵬ㇱ
ಽⓨ㑆ౝ䈪GMM䉕ቇ⠌䈜䉎䇯
ಽⓨ㑆ౝ
䉕ቇ⠌䈜䉎䇯
ᄌേ䈏ᄢ䈐䈇㖸㖿ᕈ䈲ㇱಽⓨ
㑆䈮ዪ࿷䈚䇮ᄌേ䈏ዊ䈘䈇⹤⠪
ᕈ䈲䇮⋥੤⵬ⓨ㑆䈮ዪ࿷䈜䉎
䈫⠨䈋䉎䇯
䌁䈘䉖
⋥੤⵬ㇱಽⓨ㑆
¾䊁䉴䊃䊂䊷䉺䉕ฦ⹤⠪䈱⋥੤⵬
ㇱಽⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ䊔䉪
ㇱಽⓨ㑆䈮኿ᓇ䈚䈩኿ᓇ
䉪
䊃䊦䉕᳞䉄䉎䇯ฦ⹤⠪䈱GMM
䉕૶䈦䈩ዕᐲ䉕⸘▚䈜䉎䇯
䌂䈘䉖
⋥੤⵬ㇱಽⓨ㑆
䃩yk
䌃䈘䉖
⋥੤⵬ㇱಽⓨ㑆
㩿㪈㪀 ㇱಽⓨ㑆䉕㪧㪚㪘䈪䈲䈭䈒 㪣㪛㪘䈪᭴ᚑ䈜䉎
㩿㪈㪀㩷ㇱಽⓨ㑆䉕㪧㪚㪘䈪䈲䈭䈒䇮㪣㪛㪘䈪᭴ᚑ䈜䉎䇯
䃩yk
㩿㪉㪀 ⏕₸䊝䊂䊦䈲නፄᱜⷙಽᏓ䈪䈅䉍䇮䉴䉮䉝䈲
ኻᢙዕᐲ䉕↪䈇䉎䇯
㪣㪛㪘
i
i
䊂 䉺㓸ว { X }䈱䋱䈧䈱ਥゲ䉕 l 䈫䈜䉎䋮
䊂䊷䉺㓸ว
䈫䈜䉎 { X }䈱ో䊂
䈱ో䊂䊷䉺䉕䈖䈱ਥ
䉺䉕䈖䈱ਥ
ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ l 䉕᳞䉄䉎䋮
Xi
X1
x
l
Xi
ᛩᓇᓟ ᐔဋ䉪
ౝಽᢔ
¦ P ( w )V 䇭ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ
V W
i
k
i
i
X1
i
V i 1 ni ¦ ( zki z i )( zki z i )T 䇭㩷ᛩᓇᓟ䈱
l T x ki
¦ (x
l T {1 ni
ᛩᓇ䈚䈢ὐ
V W
k
i
k
䇭
¦ P ( w )l 6 l
i
i
T
i
x i )( x ki x i )T }l
l
T
¦ P(w
i
i
i
)6 l
xki
䇭䇭䇭z
㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷 ฦ䉪䊤䉴ౝಽᢔ
x ki 䉕 ਥ ゲ l 䈮
ಽ㔌ᐲ J V B VW
ಽ㔌ᐲ䋺
XC
l
V W
V B
k
䇭 䇭 䇭 z ki
i
i
䊂 䉺㓸ว { X }䈱䋱䈧䈱ਥゲ䉕 l 䈫䈜䉎䋮
䊂䊷䉺㓸ว
䈫䈜䉎 { X }䈱ో䊂
䈱ో䊂䊷䉺䉕䈖䈱ਥ
䉺䉕䈖䈱ਥ
ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ l 䉕᳞䉄䉎䋮
ಽ㔌ᐲ J V B VW
ಽ㔌ᐲ䋺
XC
䌃䈘䉖
䈘䉖
ㇱಽⓨ㑆
᷹ⷰⓨ㑆
¾㑣୯䉕⿥䈋䉎ዕᐲᦨ
ᄢ䈱⹤⠪䈮ಽ㘃䈜䉎䇯
᷹ⷰⓨ㑆
㪣㪛㪘
䌂䈘䉖
ㇱಽⓨ㑆
䌁䈘䉖
ㇱಽⓨ㑆
i
k
T
l x
i
k
x ki 䉕 ਥ ゲ l 䈮
lT 6il
ᛩᓇ䈚䈢ὐ
z i lT x i
z lT x‫ޓ‬
T
l 6W l
ⶄᢙゲ‫ޓ‬l Ÿ A
65
¦ P(w
i
)l T 6 i l
i
¦ P(w )(䇭z
i
i
l T 6 B l l T 6W l
l T 6W l
z )(䇭z i z )T 䇭䇭ᛩᓇᓟ䈱
i
㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷䉪䊤䉴㑆ಽᢔ
l T { ¦ P ( w i )( x i x )(䇭x i x )T }l 䇭
i
T
l 6Bl
ಽ㔌ᐲ䋺J
ᦨᄢ䈫䈭䉎㪘䉕᳞䉄䉎
tr{ AT 6B A} tr{ AT 6W A}
部分空間法研究会2010
㪣㪛㪘ㇱಽⓨ㑆
㪣㪛㪘ㇱಽⓨ㑆
i
䊂 䉺㓸ว X 䈱䋱䈧䈱ਥゲ䉕 lm 䈫䈜䉎䋮
䊂䊷䉺㓸ว
䈫䈜䉎 { X }䈱ో䊂
䈱ో䊂䊷䉺䉕䈖䈱ਥ
䉺䉕䈖䈱ਥ
ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ lm 䉕᳞䉄䉎䋮
m
m
ಽ㔌ᐲ J V Bm VW
ಽ㔌ᐲ䋺
X
Xi
X
1
x
C
V W
i
k
lm
i
xki
X1
i
k
l mT x ki
zi
V W
T
i
i
䇭
¦ P ( w i )l mT 6 i l m l m ¦ P ( w )6 l m
i
i
⹤⠪⹺⼂䊶⹤⠪ᾖว
䋨㪋䋩ㇱಽⓨ㑆ᴺ䈮䉋䉎ᄌേᚑಽ䈱ๆ෼
㪐㪅 㪥㪘㪧㩿㪥㫌㫀㫊㪸㫅㪺㪼 㪘㫋㫋㫉㫀㪹㫌㫋㪼 㪧㫉㫆㫁㪼㪺㫋㫀㫆㫅㪀
㑐ᢙⓨ㑆
I ( x1 ) I ( x2 )
I ( x3 )
x2
x3 x
n
lmT 6W lm
࿁✢․ᕈ䈱Ꮕ㪲㪈㪌㪃㪈㪍㪴
ᗵᖱ㪲㪈㪎㪴
ᤨᦼᏅ ୘ Ꮕ
ᤨᦼᏅ䇮୘ੱᏅ
㪉㪇㪇㪋㪃 㪉㪇㪇㪌㪃 㪉㪇㪇㪎
W ij
ij
G
¦W
ij
ijj
|| P (I ( xi ) I ( x j )) ||
W ij
P
XX
¦w w
i
I XX T
i
T
i
Z (W ) KV
P1
61
P3 6
P26
2
3
P4 6
v1
ㇱಽⓨ㑆
v2
P
V /V T
ᐔဋࡌࠢ࠻࡞
ᷙวਥᚑಽಽᨆ
㩿ⶄᢙ䈱✢ᒻㇱಽⓨ㑆䋩
(I ( x 1 ), " , I ( x n ))
( w 1 ," , w k )
XX
|| P (I ( xi ) I ( x j )) ||
¦w
T
i
X/
i
w iT
I XX T
P
diag (W 1) W
X
AV
K
AT A
࿁✢䈱㆑䈇䉕ๆ෼䈚䈢ⓨ㑆
䈮䈍䈇䈩䉦䊷䊈䊦ⴕ೉䉕᳞䉄䉎
KV /
K c ( PA)T ( PA)
AT ( I XX T )T ( I XX T ) A
V/
x
W< f P H
ⷰ
᷹
丘
䷮
万
个
乼
ᰴ
ర
乊
࿃
ሶ
⽶
⩄
ⴕ
೉
࿕᦭୯ಽ⸃
V /V T
4
66
d
­ 1
½
p( x | f ) (2SV 2 ) 2 exp ® 2 || x Wf P ||2 ¾
¯ 2V
¿
争ẜ ᐔ 不
ᰴ࿷ ဋ ䷣
రᄌ 丘 ䷹
ᢙ ䷮ 丘
࿃丘 万 ䷮
ሶ䷮ 个 万
个
乊万
2
个 N(0,V I)
N(0,I)
ኻᢙዕᐲ䋺
wL
0
wP
wL
0
wW
᷹ⷰⓨ㑆
6
X
q
­ 1
½
p( f ) ((2S ) 2 exp
p ® f T f ¾
¯ 2
¿
㩿
࿕᦭୯ಽ⸃
㪞㪤㪤
A
䈠䉏એᄖ
䉏
⏕₸ਥᚑಽಽᨆ
ਥᚑಽಽᨆ
㩿䋱䈧䈱✢ᒻㇱಽⓨ㑆䋩
᷹ⷰⓨ㑆
6
ᦨᄢ䈫䈭䉎㪘㫄䉕᳞䉄䉎
tr{ AmT 6Bm Am } tr{ AT 6W AmT }
ಽ㔌ᐲ䋺J
K ( KV )( KV )T
Z (W ) K 䉕࿕᦭୯ಽ⸃䈚䈩 V 䉕᳞䉄䉎 䉦䊷䊈䊦SVM 䈪⹤⠪⹺⼂䉕ታⴕ
㩿
6
ಽᢔ
ᐔဋ
౒ಽᢔ
ࡌࠢ࠻࡞ ⴕ೉
P
᷹ⷰⓨ㑆
( w1 ," , wk )
T
⏕₸ਥᚑಽಽᨆ
㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫆㪻㪼㫃
i
x i 䈱࿁✢ z x j䈱࿁✢
K Z (W ) K V
䈠䉏એᄖ
⹤⠪⹺⼂䊶⹤⠪ᾖว
䋨㪌䋩⏕₸ਥᚑಽಽᨆ䈫࿃ሶಽᨆ
㪐㪅 ⏕₸ਥᚑಽಽᨆ 㪲㪈㪏㪴 㪈㪐㪐㪐
᷹ⷰⓨ㑆
Z (W )
z m )(䇭z i z m )T 㩷ᛩᓇᓟ䈱
lmT 6Bmlm
A Z (W ) A X
኿ᓇᚑಽ䉕ข䉍㒰䈇䈢኿ᓇ䊔䉪䊃䊦
x i 䈱࿁✢ z x j䈱࿁✢
­° 1
®
°̄ 0
ij
i
lmT {¦ P ( w i )(䇭x i x m )(䇭x i x m )T }lm
l mT x i
T
i
X
i
i
I ( xn )
P
PI ( xi )䈲䇮I ( xi )䈎䉌¦ wi wiT 䈻䈱
䈏ᦨዊ䈫䈭䉎X 䉕᳿ቯ䈜䉎
¦ P(w )(䇭z
䈏ᦨዊ䈫䈭䉎X 䉕᳿ቯ䈜䉎
I ¦ wi wiT
(I ( x1 )," , I ( x n ))
­° 1
®
°̄° 0
¦W
G
i
A
V Bm
lmT 6W lm
i
㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷 㩷㩷㩷㩷䉪䊤䉴㑆ಽᢔ
䉪䊤䉴㑆ಽᢔ
l mT x ki
ⶄᢙゲ‫ޓ‬lm Ÿ Am
㑐ᢙⓨ㑆
I ( x ) I ( x2 )
I ( x3 )
w1 " w k 1
I ( xn )
I
䇭
¦ P ( w i )l mT 6 i l m
ᛩᓇ䈚䈢ὐ
k
ᛩᓇ䈚䈢ὐ
x1
䇭 䇭 z ki
lmT 6 Bm lm lmT 6W lm
V W
x ki 䉕 ਥ ゲ l m 䈮
l mT {1 ni ¦ ( xki x i )( xki x i )T }l m l mT 6 i l m
x ki 䉕 ਥ ゲ l m 䈮
᷹ⷰⓨ㑆
lm
V i 1 ni ¦ ( zki z i )( zki z i )T 䇭㩷ᛩᓇᓟ䈱
㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷ฦ䉪䊤䉴ౝಽᢔ
䇭 䇭 䇭 z ki
ಽ㔌ᐲ䋺
㔌ᐲ J V Bm VW
XC
Xi
ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ
¦ P ( w )V 䇭ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ
i
i
䊂 䉺㓸ว X 䈱䋱䈧䈱ਥゲ䉕 lm 䈫䈜䉎䋮
䊂䊷䉺㓸ว
䈫䈜䉎 { X }䈱ో䊂
䈱ో䊂䊷䉺䉕䈖䈱ਥ
䉺䉕䈖䈱ਥ
ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ lm 䉕᳞䉄䉎䋮
³ p( x | f ) p( f )df
p( x)
d
­ 1
½
(2S ) 2 | C | 2 exp ® ( x P)T C1( x P)¾
¯ 2
¿
䇭䇭䇭䇭䇭C V 2I WWT
ኻᢙዕᐲ䋺
L
N
¦ ln{ p( x
k 1
S
1
N
N
¦(x
k 1
k
k
)} 1
N
^d ln(2S ) ln | C | tr (C -1 S )`
2
P )( xk P )T }
部分空間法研究会2010
ኻᢙዕᐲ䋺
N
L ^d ln(2S ) ln | C | tr (C -1 S )`
2
1 N
S
¦ ( x P )( xk P )T }
Nk1 k
⏕₸ਥᚑಽಽᨆ
x
W< f P H
< f dq N (0,V 2I)
ᐔဋಽᢔ
wL
wP
࿃
ሶ
⽶
⩄
ⴕ
೉
ᐔ 不
ဋ ䷣
丘 ䷹
䷮
2
万 N(0,V I)
个
N(0,I) N(0,< )
࿃ẜ
ሶ࿷
乊ᄌ
ᢙ
㩿
ⷰ
᷹
丘
䷮
万
个
࿃ሶಽᨆ
W< f P H
1
N
N
¦x
k 1
k
1
wL
0䉋䉍䇮Wˆ Vq ( / q V 2 I ) 2 R
wW
S V /V T 䈪䈅䉍䇮Vq䈫/ q䈲࿕᦭୯䈱
ᄢ䈐䈇࿕᦭䊔䉪䊃䊦ⴕ೉䈫࿕᦭୯ⴕ೉
R䈲છᗧ䈱⋥੤(࿁ォ䋩ⴕ೉
Vˆ 2
⏕₸ਥᚑಽಽᨆ
0䉋䉍䇮Pˆ =
1
d q
j q 1
f ( xk _ O)
j
ᷙว࿃ሶಽᨆ
x Wm < fm Pm H m
p( x | m) 䇭䇭Sm t 0,
m
¦S
i 1
m
1
P
4
3
k 1
63
64
¦Z f ( x )
i
i i
k 1
m 1
GMM䈫ห䈛䈒䇮EM䉝䊦䉯䊥䉵䊛䈪
{S m , Pm , Wm , V m2 } 䉕ផቯ䈜䉎
k
ෳ⠨ᢥ₂
ᄌ േ ⷐ ࿃ 䈱 ๆ ෼ [1 9 , 2 0 ] 2 0 0 7 , 2 0 0 8
㪲㪈㪴 㪛㪅 㪘㪅㩷㪩㪼㫐㫅㫆㫃㪻㫊㪃㩷㪩㪅㩷㪚㪅㩷㪩㫆㫊㪼㩷㪑 㵰㪩㫆㪹㫌㫊㫋㩷㫋㪼㫏㫋㪄㫀㫅㪻㪼㫇㪼㫅㪻㪼㫅㫋㩷㫊㫇㪼㪸㫂㪼㫉㩷㫀㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷
㪞㪸㫌㫊㫊㫀㪸㫅 㫄㫀㫏㫋㫌㫉㪼 㫊㫇㪼㪸㫂㪼㫉 㫄㫆㪻㪼㫃㫊㵱㪃 㪠㪜㪜㪜㩷㪫㫉㪸㫅㫊㪅㩷㫆㫅㩷㫊㫇㪼㪼㪺㪿㩷㪸㫅㪻㩷㪸㫌㪻㫀㫆㩷㫇㫉㫆㪺㪼㫊㫊㫀㫅㪾㪃
㪞㪸㫌㫊㫊㫀㪸㫅㩷㫄㫀㫏㫋㫌㫉㪼㩷㫊㫇㪼㪸㫂㪼㫉㩷㫄㫆㪻㪼㫃㫊
㪠㪜㪜㪜 㪫㫉㪸㫅㫊 㫆㫅 㫊㫇㪼㪼㪺㪿 㪸㫅㪻 㪸㫌㪻㫀㫆 㫇㫉㫆㪺㪼㫊㫊㫀㫅㪾 㪭㫆㫃㫌㫄㪼㩷㪊㪃㩷
㪭㫆㫃㫌㫄㪼 㪊
㪠㫊㫊㫌㪼 㪈㪃㩷㫇㫇㪅㪎㪉㪄㪏㪊㪃 㪈㪐㪐㪌㪅
㪲㪉㪴㩷㪤㪅㪪㪺㪿㫄㫀㪻㫋㪃 㪟㪅㪞㫀㫊㪿㪑㩷㵰㪪㫇㪼㪸㫂㪼㫉㩷㫀㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫍㫀㪸㩷㫊㫌㫇㫇㫆㫉㫋㩷㫍㪼㪺㫋㫆㫉㩷㪺㫃㪸㫊㫊㫀㪽㫀㪼㫉㫊㵱㪃 㪧㫉㫆㪺㪅 㫆㪽
㪠㪚㪘㪪㪪㪧 㫇㫇㪅㪈㪇㪌
㪠㪚㪘㪪㪪㪧㪃
㫇㫇 㪈㪇㪌㪄㪈㪇㪏
㪈㪇㪏㪃 㪈㪐㪐㪍㪅
㪈㪐㪐㪍
㪲㪊㪴㩷㪮㪅㩷㪤㪅㩷㪚㪸㫄㫇㪹㪼㫃㫃㪃㩷㪛㪅㩷㪜㪅㩷㪪㫋㫌㫉㫀㫄㪃㩷㪛㪅㩷㪘㪅㩷㪩㪼㫐㫅㫆㫃㪻㫊㪃㩷㪸㫅㪻㩷㪘㪅㩷㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪑 㵰㪪㪭㪤㩷㪹㪸㫊㪼㪻㩷㫊㫇㪼㪸㫂㪼㫉㩷
㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷㪸 㪞㪤㪤 㫊㫌㫇㪼㫉㫍㪼㪺㫋㫆㫉 㫂㪼㫉㫅㪼㫃㩷㪸㫅㪻 㪥㪘㪧㩷㫍㪸㫉㫀㪸㪹㫀㫃㫀㫋㫐㩷㪺㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㪃㵱㩷㫀㫅㩷㪧㫉㫆㪺㪅 㫆㪽
㪃 㫇㫇
㪃 㪉㪇㪇㪍㪅
㪠㪚㪘㪪㪪㪧㪃㩷㫇㫇㪅㩷㪐㪎㵨㪈㪇㪇㪃
㪲㪋㪴㪰㪅㪘㫉㫀㫂㫀 㪸㫅㪻㩷㪢㪅㪛㫆㫀㪑 㵰㪪㫇㪼㪸㫂㪼㫉㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㩷㪹㪸㫊㪼㪻㩷㫆㫅㩷㪪㫌㪹㫊㫇㪸㪺㪼㩷㪤㪼㫋㪿㫆㪻㵱㪃 㪠㪚㪪㪣㪧㵬㪐㪋㪃㩷 㫇㫇㪅㪈㪏㪌㪐
㪄㪈㪏㪍㪉㪃㩷㪈㪐㪐㪋㪅
㪲㪌㪴㪙㪅㪪㪺㪿㫆㫃㫂㫆㫇㪽㪃 㪘㪅㪪㫄㫆㫃㪸㪃 㪸㫅㪻 㪢㪅㪄㪩㪅㪤㫌㫃㫃㪼㫉㪃 㵰㪥㫆㫅㫃㫀㫅㪼㪸㫉 㪚㫆㫄㫇㫆㫅㪼㫅㫋 㪘㫅㪸㫃㫐㫊㫀㫊 㪸㫊 㪸 㪢㪼㫉㫅㪼㫃
㪜㫀㪾㪼㫅㫍㪸㫃㫌㪼 㪧㫉㫆㪹㫃㪼㫄㪃㵱 㪥㪼㫌㫉㪸㫃 㪚㫆㫄㫇㫌㫋㪸㫋㫀㫆㫅㪃 㪭㫆㫃㪅㪈㪇㪃 㫇㫇㪅㪈㪉㪐㪐㪄㪈㪊㪈㪐㪃㪈㪐㪐㪏㪅
㪲㪍㪴ᵤ↰ብᴦ䋺㵰䊍䊦䊔䊦䊃ⓨ㑆䈮䈍䈔䉎ㇱಽⓨ㑆㪃㵱 㔚ሶᖱႎㅢାቇળ⺰ᢥ⹹䋬㪭㫆㫃㪅㪏㪉㪄㪛㪄㪠㪠䋬
㪥㫆㪅㪋䋬㫇㫇㪅㪌㪐㪉㪄㪌㪐㪐䋬㪈㪐㪐㪐㪅
㪲㪎㪴೨↰⧷૞㪃㩷᧛ἑᵗ䋺㵰䉦䊷䊈䊦㕖✢ᒻㇱಽⓨ㑆ᴺ䈮䉋䉎䊌䉺䊷䊮⹺⼂㪃㵱㔚ሶᖱႎㅢାቇળ
⺰ᢥ⹹䋬㪭㫆㫃㪅㪏㪉㪄㪛㪄㪠㪠䋬㪥㫆㪅㪋䋬㫇㫇㪅㪍㪇㪇㪄㪍㪈㪉䋬㪈㪐㪐㪐㪅
㪲㪏㪴ᵿፒᱞ㪃㊁↰⑲᮸㪃ᴡญ⧷ੑ䋺㵰䊍䊦䊔䊦䊃ⓨ㑆䈪ㇱಽⓨ㑆ᴺ䉕↪䈇䈢⹤⠪⼂೎㪃㵱 㔚ሶᖱ
ႎㅢାቇળᛛႎ 㪧㪩㪤㪬⎇ⓥળ㪃
ႎㅢାቇળᛛႎ㪃
⎇ⓥળ 㫇㫇㪅㪌㪎㪄㪍㪉㪃 㪉㪇㪇㪇㪅
㪲㪐㪴೨↰ ⾫৻ ᷰㄝ ⽵৻䋺㵰ዪᚲ⊛᭴ㅧ䉕ዉ౉䈚䈢䊌䉺䊷䊮䊶䊙䉾䉼䊮䉫ᴺ㪃㵱 㔚ሶᖱႎㅢାቇ
ળ⺰ᢥ⹹䋬㪭㫆㫃㪅㪡㪍㪏㵨㪛㪃 㪥㫆㪅㪊㪃 㫇㫇㪅㪊㪋㪌㵨㪊㪌㪉㪃 㪈㪐㪏㪌㪅
㪲㪈㪇㪴Ꮢ㊁዁༹ ဈ㊁㍈ ዊ᧻ዏਭ 㵰⹤⠪⹺⼂䈮䈍䈔䉎ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺ䈱ㆡ↪䈫᦭
㪲㪈㪇㪴Ꮢ㊁዁༹䋬ဈ㊁㍈䋬ዊ᧻ዏਭ䋺㵰⹤⠪⹺⼂䈮䈍䈔䉎ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺ䈱ㆡ↪䈫᦭
ലᕈ䈮㑐䈜䉎৻⠨ኤ㪃㩷↹௝䈱⹺⼂䊶ℂ⸃䉲䊮䊘䉳䉡䊛㩿㪤㪠㪩㪬㪉㪇㪇㪏㪀䉰䊁䊤䉟䊃䊪䊷䉪䉲䊢䉾䊒ㇱ
ಽⓨ㑆ᴺ⎇ⓥળ㪪㫌㪹㫊㫇㪸㪺㪼㪉㪇㪇㪏㪃㪉㪇㪇㪏㪅
࿃ ሶ f 䈫䈚䈩䇮࿁ ✢ ․ ᕈ 䉇 ᤨ ᦼ Ꮕ 䇮
୘ ੱ ᕈ 䉕ข 䉍䇮ⶄ ᢙ ࿃ ሶ 䈪ⷰ ᷹ 䊂
䊷 䉺䉕⴫ ⃻ 䈜 䉎䇯଀ 䈋䈳 䇮
x
m 1
m
1
d
¦O
M
¦S
争ẜ ᐔ 不
p( x | m) ³ p( x | m, f ) p( f | m)df
ᰴ࿷ ဋ ䷣
d
1
రᄌ 丘 ䷹
­ 1
½
((2S ) 2 | Cm | 2 exp
p ® ( x Pm )T Cm1( x Pm )¾
ᢙ ䷮ 丘
¯ 2
¿
࿃丘 万 ䷮
ሶ䷮ 个 万
䇭䇭䇭䇭䇭Cm Vm2 I WmWmT
个
乊万
2
个 N(0,VmI)
N(0,I)
ኻᢙዕᐲ
ኻᢙዕᐲ䋺
㪞㪤㪤
N
N
M
P1 6
L ¦ ln{{ p( xk )} ¦ ln{{ ¦ S m p( xk | m )}
P26
2
P
W < f U <g P H
䈫 ⴫ 䈚 䇮 W ,U ,P ,H 䉕 ቇ ⠌ 䈜 䉎 䇯
౉ ജ 䊂 䊷 䉺 x䈏 ਈ 䈋 䉌 䉏 䉎 䈫 䇮 x䉕 ಽ
⸃ 䈚 䇮 U < g䈏 ࿁ ✢ ․ ᕈ 䈪 䈅 䉏 䈳 䇮
䈖䉏䉕೥㒰䈚䈩Ყセ䈜䉎䇯
ᄌ േ ⷐ ࿃ 䈱 ๆ ෼ [21, 22] 2002, 2003
ᷙว⏕₸ਥᚑಽಽᨆ
ᷙว⏕₸
ᚑಽಽᨆ
࿃
ሶ
⽶
⩄
ⴕ
೉
p( x)
㩿
Wq< f q H Wd< f d
d q
⋥੤⵬ㇱಽⓨ㑆䈮䈍䈔䉎
x
ⷰ
᷹
丘
䷮
万
个
乼
ᰴ
ర
乊
㩿
H W
争ẜ ᐔ 不
ᰴ࿷ ဋ ䷣
రᄌ 丘 ䷹
ᢙ ䷮ 丘
࿃丘 万 ䷮
ሶ䷮ 个 万
个
乊万
2
个 N(0,V I)
N(0,I)
x Wm < fm Pm H m
㩿
㩿
ⷰ ࿃
᷹ ሶ
丘 ⽶
䷮ ⩄
万 ⴕ
个 ೉
乼
ᰴ
ర
乊
xP
ᷙว⏕₸ਥᚑಽಽᨆ
㩿ⶄᢙ䈱✢ᒻㇱಽⓨ㑆䋩
䊂䊷䉺䈏ᷙว࿃ሶಽᨆ䈱೙⚂䈮ၮ䈨
䈇 䈩⊒ ↢ 䈚䈩䈇 䉎䉅䈱 䈫⠨ 䈋䇮䊌 䊤䊜䊷
䉺䉕ផ ቯ 䈜 䉎䇯䈖䉏 䉕ၮ 䈮䇮䊁䉴䊃䊂 䊷
䉺䈱 ⊒ ჿ ⏕ ₸ 䉕⹤ ⠪ 䈗䈫䈮᳞ 䉄 䇮⹤ ⠪
⹺ ⼂ 䉕ⴕ 䈉䇯
㪲㪈㪈㪴ဈ㊁㍈䋬ᱞᎹ⋥᮸䋬ਛ᧛ᄥ৻䋺㵰ᩭ㕖✢ᒻ⋧੕ㇱಽⓨ㑆ᴺ䈮䉋䉎‛૕⹺⼂䋬㵱㔚ሶᖱႎㅢ
ାቇળ⺰ᢥ⹹䋬㪭㫆㫃㪅㪡㪏㪋㪄㪛㪄㪠㪠䋬㪥㫆㪅㪏䋬㫇㫇㪅㪈㪌㪋㪐㪄㪈㪌㪌㪍䋬㪉㪇㪇㪈㪅
㪲㪈㪉㪴 㪚 㪣 㪰㫀㫅㪾 㪸㫅㪻 㪘 㪙㪡 㪫㪼㫆㪿䋺㵰㪪㫇㪼㪸㫂㪼㫉
㪲㪈㪉㪴㩷㪚㪅㩷㪣㪅㩷㪰㫀㫅㪾㩷㪸㫅㪻㩷㪘㪅㩷㪙㪡㩷㪫㪼㫆㪿䋺
㪪㫇㪼㪸㫂㪼㫉㩷㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺㩷㪉㪛㩷㪚㪣㪘㪝㪠㪚㪃
㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅 㫌㫊㫀㫅㪾 㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺 㪉㪛 㪚㪣㪘㪝㪠㪚 㵱 㪠㪜㪠㪚㪜
㪜㫃㪼㪺㫋㫉㫆㫅㫀㪺㫊 㪜㫏㫇㫉㪼㫊㫊㪃 㪭㫆㫃㪅㪋㪃 㪥㫆㪅㪌㪃 㫇㫇㪅㪈㪎㪐㪄㪈㪏㪋㪃 㪉㪇㪇㪎㪅
㪲㪈㪊㪴⷏↰᣽ผ䋬᦭ᧁᐽ㓶㪑 㵰㖸㖿ᕈ䉕ᛥ䈋䈢⹤⠪ⓨ㑆䈻䈱኿ᓇ䈮䉋䉎⹤⠪⹺⼂㵱㪃
㔚ሶᖱႎㅢାቇળ⺰ᢥ⹹ 㪭㫆㫃 㪏㪌㪄㪛㪄㪠㪠
㔚ሶᖱႎㅢାቇળ⺰ᢥ⹹䋬㪭㫆㫃㪅㪏㪌
㪛 㪠㪠䋬㪥㫆㪅㪋䋬㫇㫇㪅㪌㪌㪋
㪥㫆 㪋 㫇㫇 㪌㪌㪋㪄㪌㪍㪉
㪌㪍㪉䋬㪉㪇㪇㪉㪅
㪉㪇㪇㪉
㪲㪈㪋㪴㪡㪅㪙㪅㪘㫋㫋㫀㫃㫀㪃 㪤㪅㪪㪸㫍㫀㪺 㪸㫅㪻 㪡㪅㪧㪅㪚㪸㫄㫇㪹㪼㫃㫃㪑㵰㪘 㪫㪤㫊㪊㪉㪇㪉㪇㪄㪹㪸㫊㪼㪻 㫉㪼㪸㫃 㫋㫀㫄㪼㪃 㫋㪼㫏㫋㪄㫀㫅㪻㪼㫇㪼㫅㪻㪼㫅㫋㪃
㪸㫌㫋㫆㫄㪸㫋㫀㪺 㫊㫇㪼㪸㫂㪼㫉 㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅 㫊㫐㫊㫋㪼㫄㪃㵱 㪧㫉㫆㪺㪅 㫆㪽 㪠㪚㪘㪪㪪㪧㪃 㫇㫇㪅㪌㪐㪐㪄㪍㪇㪉㪃 㪈㪐㪏㪏㪅
㪲㪈㪌㪴 㪘 㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽 㪮 㪤 㪚㪸㫄㫇㪹㪼㫃㫃 㪠㪅㪙㫆㪸㫉㪻㫄㪸㫅䋺
㪲㪈㪌㪴㩷㪘㪅㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪃㩷㪮㪅㪤㪅㪚㪸㫄㫇㪹㪼㫃㫃㪃
㪠 㪙㫆㪸㫉㪻㫄㪸㫅䋺㵰㪘㪻㫍㪸㫅㪺㪼㫊
㪘㪻㫍㪸㫅㪺㪼㫊㩷㫀㫅㩷㪚㪿㪸㫅㫅㪼㫃㩷㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㩷㪽㫆㫉㩷㪪㪭㪤㩷
㫀㫅 㪚㪿㪸㫅㫅㪼㫃 㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅 㪽㫆㫉 㪪㪭㪤
㪪㫇㪼㪸㫂㪼㫉㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㪃㵱㪅㪠㪚㪘㪪㪪㪧㪃㩷㫇㫇㪅㪈㪏㵨㪉㪊㪃 㪉㪇㪇㪌㪅㩷
㪲㪈㪍㪴㩷㪘㪅㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪃㩷㪚㪅㪨㫌㫀㫃㫃㪼㫅㪃㩷㪮㪅㪤㪅㪚㪸㫄㫇㪹㪼㫃㫃䋺㵰㪚㪿㪸㫅㫅㪼㫃㩷㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㩷㪽㫆㫉㩷㪪㪭㪤㩷㪪㫇㪼㪸㫂㪼㫉㩷
㪾
㪃 㪠㫅㩷㪧㫉㫆㪺㪅㩷㪦㪻㫐㫊㫊㪼㫐㪑㩷㪫㪿㪼㩷㪪㫇㪼㪸㫂㪼㫉㩷㪸㫅㪻㩷㪣㪸㫅㪾㫌㪸㪾㪼㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㩷㪮㫆㫉㫂㫊㪿㫆㫇㪃
㫐 㫐
㫇
㪾 㪾
㪾
㫇㪃 㪠㪪㪚㪘㪃㩷
㪃
㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㪃㵱
㫇㫇㪅㪋㪈㵨㪋㪋㪃 㪉㪇㪇㪋㪅㩷
㪲㪈㪎㪴㪟㪅㪙㪸㫆㪃 㪤㪅㪯㫌㪃 㪫㪅㪝㪅㪱㪿㪼㫅㪾㪑㵰㪜㫄㫆㫋㫀㫆㫅 㪘㫋㫋㫉㫀㪹㫌㫋㪼 㪧㫉㫆㫁㪼㪺㫋㫀㫆㫅 㪽㫆㫉 㪪㫇㪼㪸㫂㪼㫉 㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅 㫆㫅
㪜㫄㫆㫋㫀㫆㫅㪸㫃 㪪㫇㪼㪼㪺㪿㪃㵱 㪠㫅㫋㪼㫉㫊㫇㪼㪼㪺㪿㪃 㫇㫇㪅㪎㪌㪏㪄㪎㪍㪈㪃㪉㪇㪇㪎㪅
㪲㪈㪏㪴㩷㪤㪅㪜㪅㩷㪫㫀㫇㫇㫀㫅㪾㩷㪸㫅㪻㩷㪚㪅㪤㪅㩷㪙㫀㫊㪿㫆㫇㪃㩷㵰㪤㫀㫏㫋㫌㫉㪼㫊㩷㫆㪽㩷㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺㩷㫇㫉㫀㫅㪺㫀㫇㪸㫃㩷㪺㫆㫄㫇㫆㫅㪼㫅㫋㩷
㪸㫅㪸㫃㫐㫑㪼㫉㫊㪃㵱㪥㪼㫌㫉㪸㫃㩷㪚㫆㫄㫇㫌㫋㪸㫋㫀㫆㫅㪃㩷㫍㫆㫃㪅㪈㪈㪃㩷㫅㫆㪅㪉㪃㩷㫇㫇㪅㪋㪋㪊㵨㪋㪏㪉㪃㩷㪈㪐㪐㪐㪅
㪲㪈㪐㪴㩷㪛㪅㪤㪸㫋㫉㫆㫌㪽㪃 㪥㪅㩷㪪㪺㪿㪼㪽㪽㪼㫉㪃 㪙㪅㪝㪸㫌㫍㪼㪃 㪡㪄㪝㪅㩷㪙㫆㫅㪸㫊㫋㫉㪼䋺㵰㪘㩷㫊㫋㫉㪸㫀㪾㪿㫋㪽㫆㫉㫎㪸㫉㪻㩷㪸㫅㪻㩷㪼㪽㪽㫀㪺㫀㪼㫅㫋㩷
㫀㫄㫇㫃㪼㫄㪼㫅㫋㪸㫋㫀㫆㫅㩷㫆㪽㩷㫋㪿㪼㩷㪽㪸㪺㫋㫆㫉㩷㪸㫅㪸㫃㫐㫊㫀㫊㩷㫄㫆㪻㪼㫃㩷㪽㫆㫉㩷㫊㫇㪼㪸㫂㪼㫉㩷㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㪃㵱 㪠㫅㩷㪠㪥㪫㪜㪩㪪㪧㪜㪜㪚㪟㪄
㪉㪇㪇㪎㪃㩷㪈㪉㪋㪉㪄㪈㪉㪋㪌㪃 㪉㪇㪇㪎㪅
㪲㪉㪇㪴㩷㪧㪅㪢㪼㫅㫅㫐㪃㩷㪧㪅㪦㫌㪼㫃㫃㪼㫋㪃㩷㪥㪅㪛㪼㪿㪸㫂㪃㩷㪭㪅㪞㫌㫇㫋㪸㪃㩷㪸㫅㪻㩷㪧㪅㪛㫌㫄㫆㫌㪺㪿㪼㫃䋺㵰㪘 㪪㫋㫌㪻㫐 㫆㪽 㪠㫅㫋㪼㫉㪄㪪㫇㪼㪸㫂㪼㫉
㫍㪸㫉㫀㪸㪹㫀㫃㫀㫋㫐 㫀㫅 㪪㫇㪼㪸㫂㪼㫉 㪭㪼㫉㫀㪽㫀㪺㪸㫋㫀㫀㫆㫅㪃㩷㪠㪜㪜㪜㩷㪫㫉㪸㫅㫊㪸㪺㫋㫀㫆㫅㫊㩷㫆㫅㩷㪘㫌㪻㫀㫆㪃㩷㪪㫇㪼㪼㪺㪿㩷㪸㫅㪻㩷㪣㪸㫅㪾㫌㪸㪾㪼㩷
㪧㫉㫆㪺㪼㫊㫊㫀㫅㪾㪃㩷㪭㫆㫃㪅㪈㪍㪃 㪌㪃 㫇㫇㪅㪐㪏㪇㪄㪐㪏㪏㪃㩷㪉㪇㪇㪏㪅
㪲㪉㪈㪴㩷㪧㪅㪛㫀㫅㪾㪃㩷㪰㪅㩷㪣㫀㫌㪃㩷㪙㪅㩷㪯㫌䋺㵰㪝㪸㪺㫋㫆㫉㩷㪘㫅㪸㫃㫐㫑㪼㪻㩷㪞㪸㫌㫊㫊㫀㪸㫅㩷㪤㫀㫏㫋㫌㫉㪼㩷㪤㫆㪻㪼㫃㫊㩷㪽㫆㫉㩷㪪㫇㪼㪸㫂㪼㫉㪅㩷
㪠㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㪃㵱 㪠㫅㩷㪧㫉㫆㪺㪅㩷㪠㪚㪪㪣㪧㪃 㫇㫇㪅㪈㪊㪋㪈㪄㪈㪊㪋㪋㪃 㪉㪇㪇㪉㪅
㪲㪉㪉㪴ጊᧄ ໪ༀ㪃㩷ධⷺ
໪ༀ ධⷺ ศᒾ㪃㩷ችፉ
ศᒾ ችፉ ජઍ⟤ 㪃㩷ᓼ↰
ᓼ↰ ᕺ৻㪃㩷ർ᧛
ᕺ
ർ᧛ ᱜ㪃㩷㩹ᷙว࿃ሶಽᨆ䈮ၮ䈨䈒⹤⠪
ᱜ 㩹ᷙว࿃ሶಽᨆ䈮ၮ䈨䈒⹤⠪
⼂೎䊝䊂䊦䈱䊌䊤䊜䊷䉺౒᦭᭴ㅧ㩹㩷㔚ሶᖱႎㅢାቇળᛛⴚ⎇ⓥႎ๔㪃㩷㫍㫆㫃㪅㪈㪇㪊㪃㩷㫅㫆㪅㪌㪈㪐㪃㩷㫇㫇㪅㪐㪈㪄
㪄㪐㪍㪃㩷㪛㪼㪺㪅㩷㪉㪇㪇㪊㪅
67

日本情報工学研究所、業界初、不動産ポータルサイトへの物件情報一括

『福岡キャンピングカー＆アウトドアショー2016』出展のご案内

bot sensor system service ro

Power Inductor for Digital Amp. (Class-D)

S10-多用途プロジェクター

カタログダウンロード

熱交換媒体（ハイアルミナボール）

3SUPF-CH