部分空間法研究会 2010 Lectures on Subspace 2010 in conjunction with MIRU2010 2010 年 7 月 26 日 釧路市観光国際交流センター http://www.cvlab.cs.tsukuba.ac.jp/ subspace/ss2010d/ 部分空間法のフロンティア MIRU2010 サテライトワークショップ 主催 共催 部分空間法研究会 実行委員会 画像の認識・理解シンポジウム (MIRU2010) 部分空間法研究会2010 テーマ:部分空間法のフロンティア 日本発の技術である部分空間法の研究会である当研究会は2006 年より活動を開始し,これまで MIRU, ACCV, ICCVなどのサテライトワークショップとして研究会を開催してきました.本年は これまでの活動を増強し,初の国内,国際同年開催となります. 国際研究会はニュージーランド で開催される ACCV2010 のサテライトとして開催し,これまで同様優れた研究発表を募ります. 国内研究会はこれまで着目していなかったパターン認識分野以外への応用,新しい Component analysis の技術に着目し,応用,技術の両面から部分空間法のフロンティアの発見に資することを 目標に企画しました. 2010 年 7 月 26 日 部分空間法研究会Subspace2010実行委員長 坂野鋭(NTT CS研) 実行委員会 実行委員長 坂野鋭(NTT CS 研) 天野敏之(奈良先端大),岩村雅一(阪府大),内田誠一(九大),大町真一郎(東北大学),佐藤敦(NEC),佐 藤真一(NII),佐藤洋一(東大生研),玉木徹(広島大学),福井和広(副委員長, 筑波大学),堀田政二(東京農 工大),牧淳人(東芝欧州研),山口修(東芝),Bisser Raytchev(広島大学),河原智一(東芝) 2 部分空間法研究会2010 プログラム 開会の挨拶 坂野鋭(NTT コミュニケーション科学基礎研究所) .....5p 【招待講演】宇宙機システム監視と部分空間法 矢入健久(東大先端研) .....7p 異常検知・故障診断は,人工衛星に代表される宇宙機システムの安全性・信頼性を向上させる上で非常に重 要なテーマである.これらのシステムでは一般に,多数のセンサーによって内部状態が監視され,その履歴 データが地上局に蓄積されている.近年,このデータに機械学習やパターン認識の諸技術を応用することに よって,高度かつ適用範囲の広い異常検知法が実現できるのではないかと期待されている.本発表では,こ のような立場から,部分空間法や次元削減法を応用した講演者らの取り組みを紹介する. 【招待講演】部分空間法を用いたリモートセンシング画像の土地被覆分類 哈斯巴干(ハスバガン)(国環研), 竹内渉(東大生研), 山形与志樹(国環研) .....17p 土地被覆分類はリモートセンシング画像処理の重要な課題である.土地被覆分類では,土地被覆カテゴリ(ク ラス)を定義し,トレーニングデータとテストデータを選んでから,画像全体を分類する.リモートセンシ ング画像はその解像度(50cm 50cm∼4km 4km ピクセル),次元数(数個∼数百バンド),画素ビット(8 ビット∼32 ビット),時系列データ期間などがデータの種類によって異なる.これらのデータセットの特徴 を考慮して,今まで様々な土地被覆分類手法が開発されてきた. 最近の研究では土地被覆分類の選択肢として部分空間法がある.部分空間法では,まずトレーニングデータ を使用し,カテゴリごとにそのカテゴリを表現できる部分空間を作る.次に,画像ピクセルを各部分空間へ 射影させて,画像全体を分類する.本研究では部分空間法を用いることで,少ないトレーニングデータから 高い分類精度を得られることが分かった.また,画像の次元数が大きいほど,部分空間法が更に有効である ことが分かった. リモートセンシングで一番重要なのは,指数関数的に増えるデータ量に対し,必要な情報量を失わないよう に,いかにして計算コストを節約するかである.研究と応用の両面において,データに対して精度が高くか つ高速分類できる手法が必要とされている.取り扱いが簡便である部分空間法はこのような高次元,高情報 量のデータ処理に期待される. 【チュートリアル】使ってみよう部分空間法! ‒Eingang堀田政二(東京農工大) , 河原智一(東芝), 坂野鋭(NTT) .....25p 部分空間法は光学的文字認識装置や顔認識装置などのパターン認識機械で高度に実用的な方法であり,既に 多くの製品が市場で実用化されています.部分空間法には理論的な美しい背景もありますが,その圧倒的な 魅力は「使える」ということにあります.そこで,さらに多くの方々に部分空間法を使ってもらおう,との 願いから 2008 年の部分空間法研究会において「使ってみよう部分空間法-部分空間法体験実習-」を実施し 好評を博しました.今年は,2008 年版の講演をさらにブラッシュアップし,よりわかりやすくいたしまし た.自由に編集できるプログラム (MATLAB/Octave) を配布しますので,部分空間法をすぐに研究等に応用 することができます.是非この機会に部分空間法に触れてみてください. 【チュートリアル】使ってみよう部分空間法! ‒Ausgang河原智一(東芝), 坂野鋭(NTT), 堀田政二(東京農工大) .....34p この 40 年の間に部分空間法は文字認識などの様々な製品に適用され,実用に供されるとともに,多くの改 良が行われ,理論的にも発展してきました.この 10 年ほどの最も大きなトピックスは相互部分空間法の物 体認識などへの適用と再生核による非線形部分空間法の提案です.本チュートリアルでは相互部分空間法と 非線形部分空間法の基礎と様々な改良,そしてどの技術がどの様なところで威力を発揮するかについて事例 を踏まえながら丁寧に解説いたします. 3 部分空間法研究会2010 【チュートリアル】独立成分分析入門 ∼音の分離を題材として∼ 澤田宏(NTT) .....45p 独立成分分析(ICA: Independent Component Analysis)は,線形変換の一種であり,変換後の信号間の独 立性を高めるものである.応用としては,音などの信号がどのように混合されたかを知らなくても,元の信 号を復元できることが挙げられる.本チュートリアルでは,混ぜる音の数の増加と共に統計的性質がどのよ うに変化していくかを見て,具体的にはその分布が正規分布に近づいていくことを確認する.その後,正規 分布から遠ざける線形変換を繰り返し的に求める方法を説明する.また,実際に IC レコーダを用いて複数人 の同時発話を録音し,独立成分分析により元の発話を復元するデモンストレーションを行う. 【チュートリアル】非負値行列因子分解入門 ∼音響信号処理を題材として∼ 亀岡弘和(NTT) .....53p 自然界には例えば,画素値,度数,パワースペクトルなど非負値で表わされるデータが多い.非負値行列因 子分解(NMF: Non-negative Matrix Factorization) とは,このような非負値データから,データを構成している 要素を取り出すための多変量解析手法の一種であり,画像からの特徴抽出や音源分離など多岐にわたって応 用されている.NMF では主成分分析などと同様,与えられたすべてのデータベクトルを基底ベクトルの線形 結合でできるだけ良く近似できるような基底系をうまく構成することが目的であるが,基底ベクトル,結合 係数のいずれに対しても非負値制約が置かれている点が特徴である.本チュートリアルでは,NMF の興味深 い性質,さまざまな観点からの異なる捉え方,アルゴリズムの導出の仕方などを解説しながら,NMF がどの ような問題に実際に応用できるのかを音響信号処理を題材として紹介する. 【特別招待講演】音声処理と部分空間法 有木康雄(神戸大学).....61p 電話がかかってきて話をしている場合,誰からの電話なのか,どのような内容で,先方はどんな感情を持っ ているのか,人はこうした情報を容易に聞き分けることができる.音声信号には,このような話者情報,音 韻情報,感性情報といった3つの情報が含まれている.音声処理では,これら3つの情報を音声信号から分 離して抽出し,認識することが目的となる.人は,話者が変わっても発話内容や感情を認識できることから, これら3つの情報は独立に抽出・認識・変換できるはずである.しかし,これら3つの情報を独立に処理す る方法は,現時点ではまだ確立されていない. これまでの研究では,話者情報,音韻情報,感性情報は,すべて同じスペクトル空間で表現され,SVM や GMM,HMM など,それぞれの識別器を構成して認識が行われてきた.しかし,同じスペクトル空間では, 話者情報,音韻情報,感性情報が混然一体となってしまっているため,充分な認識精度が得られない.そこ で,これら3つの情報を分離する試みとして,話者情報を話者部分空間で表現し話者認識を行う方法が研究 されてきた.また,音声認識においては,HMM の分散共分散行列をより少ないパラメータで表現するため に,混合主成分分析を用いる方法や,HMM の平均ベクトルをより少ないパラメータで表現するために,部 分空間を用いる方法などが研究されてきた(Subspace GMM). 音声認識とは異なるが,認識を行うために必要な音響モデルを,スペクトル空間ではなく部分空間において 個別の話者に精度よく適応させる方法や,実環境で混入してくる雑音に対して,音声と雑音を部分空間によ り分離・抽出する方法など,パラメータ削減や主要な特徴の抽出,情報分離などの研究が部分空間を用いて 行われてきた.本講演では,音声認識,話者認識,話者適応,特徴抽出における部分空間の適用方法を概観 し,話者空間,音韻空間,感性空間の独立制御の可能性について展望する. 4 部分空間法研究会2010 これまでのお話 Subspace 2010: An Introduction Hitoshi Sakano • Subspace2006 in Conjunction with MIRU2006 – 東北文化学園大学(仙台) – 特別講演:黒澤さん(東芝),村瀬先生(名大) – オーラル・ポスターハイブリッド方式(成功) • Subspace2007 in Conjunction with ACCV2007 – 東大生研(東京) • Subspace2008 in Conjunction with MIRU2008 – 軽井沢プリンスホテル – 特別講演:小川先生(東京福祉大学) – 部分空間法相談デスク(失敗) NTT Comm. Sci. Lab. 26th Jul. 2010 • Subspace2009 in Conjunction with ICCV2009 – 京都大学 実行委員会 • • • • • • • • • • • • • • • Brief History 坂野鋭 天野敏之(NAIST) 岩村雅一(阪府大):MIRU2010エリアチェア 内田誠一(九大):MIRU2010出版委員長 大町真一郎(東北大):MIRU2010エリアチェア 河原智一(東芝) 佐藤敦(NEC):米国出張中 佐藤真一(NII): 佐藤洋一(東大生研):MIRU2010広報委員長 玉木徹(広島大):MIRU2010若手プログラム委員長 福井和広(副委員長,筑波大) 堀田政二(東京農工大):若手プログラム招待講演者 牧淳人(東芝欧州研):英国勤務 山口修(東芝):MIRU2010財務委員長 Bisser Raytchev(広島大学) • 60th 複合類似度法(飯島)1,CLAFIC(渡辺)2 • 70th 混合類似度法(飯島)1, 学習部分空間法 (Kohonen)3などの様々な改良.初の実用OCR, ASPET/71発表4. • 80th 相互部分空間法(前田)5,変動吸収核(村瀬)6. 主として文字認識. • 90th Eigenface (Turk, SELFICの復活)7, パラメトリック固 有空間法(村瀬)8.相互部分空間法の物体認識への 適用(山口)9,核非線形部分空間法(津田,前田)10,11, 核非線形相互部分空間法(坂野)12,制約相互部分空 間法(福井)13 • 21c 様々な改良,応用範囲の拡大14,15 5 部分空間法研究会2010 State of art Aims of our Workshop •X component analysis •ICA16, PPCA17, Face, Object Recognition 2DPCA18, L1‐PCA19, Visualization, Mining 20 21 22 APCA , NCA , RCA , 23 NMF Recognition by Image set •X component analysis •ICA16, PPCA17, Face, Object Recognition 2DPCA18, L1‐PCA19, Visualization, Mining 20 21 22 APCA , NCA , RCA , 23 NMF Sawada Recognition by Image set × 部分空間 法研究会 Kameoka × Various Applications Hotta 部分空間 法研究会 Various Applications Ariki, Hasi, Yairi Subspace…. the final frontier 参考文献 Programme • • • • • • • • • • • • • • • • • • 0900‐0910:Introduction,坂野鋭 座長:内田誠一 0910‐1010:宇宙機システム監 視と部分空間法, 矢入健久 1010‐1110:部分空間法を用いたリモートセンシング画像の土地被覆分類,哈斯巴干,竹内渉,山形 与志樹 1110‐1120:Morning Break 座長:福井和広 1120‐1200:使ってみよう部分空間法! –Eingang, 堀田政二,河原智一,坂野鋭 1200‐1300:Lunch 1300‐1400:使ってみよう部分空間法! –Ausgang, 河原智一,坂野鋭,堀田政二 座長:仙田修司 1400‐1500:独立成分分析入門 ~音の分離を題材として~, 澤田宏 1500‐1510:Tea time 座長:佐藤真一 1510‐1610:非負値行列因子分解入門 ~音響信号処理を題材として~: 亀岡弘和 1610‐1620:Coffee break 座長:大和淳司 1620‐1720:音声処理と部分空間法: 有木康雄 1720‐1730:Closing,坂野鋭 飯島泰蔵,パターン認識理論,森北出版,1973 S. Watanabe, N. Pakvasa, ``Subspace method of pattern recognition'', Proc. 1st IJCPR, pp. 25‐32(1973) エルッキ オヤ,パターン認識と部分空間法,産業図書,(1986) 飯島泰蔵,文字読取装置ASPET/71,テレビジョン 27(3), pp.157‐164, 1973 前田賢一, 渡辺貞一,局所的構造を導入したパターン・マッチング法,電子情報通信学会論文誌 D Vol.J68‐D No.3 pp.345‐352 ,1985 村瀬洋, 木村文隆, 吉村ミツ, 三宅康二,パターン整合法における特性核の改良とその手書き平仮名文字認識への応用,電子情報通信学会論文誌 D Vol.J64‐ D No.3 pp.276‐283, 1981. 村瀬洋,体験談:部分空間法による画像認識,in Proc. Subspace2006, pp.144‐149 が関連文献として興味深い. 7. M. Turk and A. Pentland ,“Eigenfaces for recognition”. Journal of Cognitive Neuroscience 3 (1): 71–86. 1991 8. 村瀬洋,S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―,電子情報通信学会論文誌 D Vol.J77‐D2 No.11 pp.2179‐2187 , 1994 9. 山口,福井,前田,「動画像を用いた顔認識システム」,信学技報PRMU97ー50,(1997) 10. 津田宏治,ヒルベルト空間における部分空間法 電子情報通信学会論文誌 D Vol.J82‐D2 No.4 pp.592‐599,1999 11. 前田英作,村瀬洋,カーネル非線形部分空間法によるパターン認識,電子情報通信学会論文誌 D Vol.J82‐D2 No.4 pp.600‐612,1999 12. 坂野鋭, 武川直樹, 中村太一,核非線形相互部分空間法による物体認識,電子情報通信学会論文誌 D Vol.J84‐D2 No.8 pp.1549‐1556,2001 13. 福井和広, 山口修 ,カーネル非線形制約相互部分空間法による物体認識,電子情報通信学会論文誌 D Vol.J88‐D2 No.8 pp.1349‐1356,2005 14. 藤巻遼平,矢入健久,町田和雄,カーネル特徴空間における正準角を利用した宇宙機異常検知法, 人工知能学会全国大会 2A3‐1,2006 15. Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. Extended Averaged Learning Subspace Method for Hyperspectral Data Classification. Sensors, Vol. 9, No. 6, pp. 4247‐4270, Jun. 2009. 16. Aapo Hyvaerinen, Juha Karhunen, Erkki Oja, Independent Component Analysis ,Academic press,(2001) 17. M. I. Tipping, C. M. Bishop, Probabilistic Principal component analysis, Journal of the Royal Statistical Society, Series B, 61, Part 3, pp. 611–622. 18. J. Yang, D. Zhang, A.F. Frangi and J.Y. Yang, Two‐dimensional PCA: A new approach to appearance‐based face representation and recognition, IEEE Trans. Pattern Anal. Machine Intell. 26 (2004) (1), pp. 131–137. 19. N Kwak, Principal Component Analysis Based on L1‐Norm Maximization, IEEE Trans Pattern Anal Mach Intell. 2008 Sep;30(9):1672‐80. 20. Xudong Jiang, Asymmetric Principal Component and Discriminant Analyses for Pattern Classification, IEEE Trans. PAMI, vol. 31 no. 5, pp. 931‐937,2009 21. Jacob Goldberger, Sam Roweis, Geoff Hinton, Ruslan Salakhutdinov, Neighborhood Components Analysis, In Proc. NIPS 2005 22. Y. Koren and L. Carmel. Robust linear dimensionality reduction. In IEEE Trans. Vis. and Comp.Graph., pages 459–470, 2004. 23. DD Lee, HS Seung, Learning the parts of objects by non‐negative matrix factorization, Nature 401, 788‐791 (21 October 1999) 以下は,部分空間法の参考文献(解説) 1. 坂野鋭,パターン認識における主成分分析 ― 顔画像認識を例として ―,統計数理,第49巻 第1号,pp.23‐42 2. 黒沢由明,部分空間法の今昔(上) : 歴史と技術的俯瞰 : 誕生から競合学習との出会いまで ,情報処理,Vol.49 No.5 ,pp.566‐572 3. 福井和広,部分空間法の今昔(いまむかし)(下) : 最近の技術動向:相互部分空間法への拡張とその応用事例 ,情報処理,Vol.49 No.5., pp.680‐685 1. 2. 3. 4. 5. 6. 6 部分空間法研究会2010 ⷐᣦ ㇱಽⓨ㑆ᴺ⎇ⓥળ • ቝቮᯏ䉲䉴䊁䊛䈱⇣Ᏹᬌ⍮㗴䈮ኻ䈚䈩䇮ㇱಽ ⓨ㑆ᴺ䈫䈠䈱㑐ㅪᚻᴺ䉕ㆡ↪䈚䈢⎇ⓥ䉕⚫ 䈜䉎 ቝቮᯏ䉲䉴䊁䊛⋙ⷞ䈫ㇱಽⓨ㑆ᴺ • ၮᧄ⊛䈮䈲䇮⸠✵䊂䊷䉺䈎䉌ᱜᏱㇱಽⓨ㑆䉕ቇ ⠌䈚䇮䊁䉴䊃䊂䊷䉺䋨䈍䉋䈶䊁䉴䊃ㇱಽⓨ㑆䋩䈫䈱 〒㔌䋨䉇ᱜḰⷺ䋩䉕⋙ⷞ䈜䉎䈖䈫䈪ታ䈘䉏䉎 ᧲੩ᄢቇ䊶వ┵⑼ቇᛛⴚ⎇ⓥ䉶䊮䉺䊷 ⍫ஜਭ 2010ᐕ726ᣣ • ᓟඨ䈪䈲䇮䉲䉴䊁䊛䈱േ⊛․ᕈ䉕⠨ᘦ䈚䈢ᒛ 䋨ㇱಽⓨ㑆หቯᴺ䈫䈱Ⲣว䋩䈮䈧䈇䈩ㅀ䈼䉎 ౝኈ • 䈲䈛䉄䈮 䌾ቝቮᯏ䊁䊧䊜䊃䊥䈱⇣Ᏹᬌ⍮䈫䈲 • 䋴䈧䈱⎇ⓥ⚫ 1. ᰴరᷫ䊶ౣ᭴ᚑ䈮䉋䉎ੱᎿⴡᤊ䊁䊧䊜䊃䊥䊂䊷䉺⋙ⷞ 1.䈲䈛䉄䈮 2. 䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎ቝቮᯏ ⇣Ᏹᬌ⍮ 䌾 ቝቮᯏ䊁䊧䊜䊃䊥䈱⇣Ᏹᬌ⍮䈫䈲 䌾 3. ㇱಽⓨ㑆หቯᴺ䈮ၮ䈨䈒േ⊛䉲䉴䊁䊛䈱ᄌൻὐᬌ⍮ 4. ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎േ⊛䉲䉴䊁䊛䈱ቇ⠌ • 䈍䉒䉍䈮 ᓥ᧪ᛛⴚ䊶⎇ⓥ ⎇ⓥ⢛᥊䋨ቝቮᯏ⇣Ᏹᬌ⍮䊶㓚⸻ᢿ䋩 1. 䊥䊚䉾䊃䉼䉢䉾䉪 • ቝቮ㐿⊒䈱䋲ᄢ⺖㗴䋺 – 䉶䊮䉰䊷䈗䈫䈮㒢ਅ㒢⋙ⷞ – ૐ䉮䉴䊃ൻ – ା㗬ᕈะ 2. 䉣䉨䉴䊌䊷䊃䉲䉴䊁䊛䋨⍮⼂䊔䊷䉴䋩 • ࿎㔍䈮䈜䉎ⷐ࿃ – 䇸⇣Ᏹ⽎䇹䈫䇸ళ䇹䈱㑐ଥ䉕ᨎ – ᄙ⒳ዋ㊂㐿⊒ Ј ⚻㛎䊶⍮⼂䈱ਇ⿷ – ㆊ㉃䊶ਇ⏕ቯ䈭ⅣႺ Ј ೨⹜㛎䈱㒢⇇ – ㆙㓒ᕈ Ј ⋙ⷞ䊶ୃℂ࿎㔍 3. 䊝䊂䊦䊔䊷䉴䉲䉴䊁䊛 – ቯᕈ䊶ቯ㊂䊝䊂䊦䈮䉋䉎䉲䊚䊠䊧䊷䉲䊢䊮 ㅢ㗴䋺 • ᡷༀ╷ – ⍮⼂䋨䊦䊷䊦䊶䊝䊂䊦䋩₪ᓧ䊶⛽ᜬ – ⋙ⷞ▸࿐䈱㒢⇇ – ⥄ᓞ⊛䈭䉲䉴䊁䊛⋙ⷞᛛⴚ䈱㐿⊒ 7 部分空間法研究会2010 ቝቮᯏ䊁䊧䊜䊃䊥䋨ᛛⴚ䊂䊷䉺䋩 ᯏ᪾ቇ⠌䈮䉋䉎⇣Ᏹᬌ⍮ 䉲䉴䊁䊛ㆇ↪䊶⋙ⷞ䈱䈢䉄䈱䊂䊷䉺 ㆊ䊂䊷䉺䈎䉌ᱜᏱ䊝䊂䊦䉕ቇ⠌䈚䇮䊁䉴䊃䊂䊷䉺 䈮䉁䉏䉎⇣Ᏹ䊌䉺䊷䊮䉕ᬌ⍮ a.k.a.,ᣂⷙᕈᬌ⍮䇮䋱䉪䊤䉴ಽ㘃 • 㜞ᰴర䋨ᢙ⊖䌾ᢙජ䋩䈱ᤨ♽䊂䊷䉺 • ฦ䉰䊑䉲䉴䊁䊛䋨ᆫ䇮ផㅴ䇮ᾲ䇮╬䋩䈱ஜᐽ⁁ᘒ • ᭽䇱䈭‛ℂ㊂䋨᷷ᐲ䇮ⷺㅦᐲ䇮ផജ䇮etc䋩䇮୯䈱⒳㘃 䋨ታᢙ䇮ᢛᢙ䇮䉲䊮䊗䊦䇮OnOff䇮etc.䋩 䋨⇣⒳ᕈ䋩 ၮᧄ⊛䈭ㇱಽⓨ㑆ᴺ䈱⠨䈋ᣇ䉕↪䈚䈧䈧䇮᭽䇱䈭ᰴర ᷫ䉝䊦䉯䊥䉵䊛䉕Ყセ 2. 䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎 ቝቮᯏ⇣Ᏹᬌ⍮ ౣ᭴ᚑ⺋Ꮕ 2. ౣ᭴ᚑ䈮䉋䉎ಽᨆน⢻ᕈ ో 䉦䊷䊈䊦⋧ㇱಽⓨ㑆ᴺ䈱⇣Ᏹᬌ⍮䈻䈱ᔕ↪ ⇣Ᏹᐲ䈮ነਈ䈜䉎ᄌᢙ䈱․ቯ 3. ㇱಽⓨ㑆หቯᴺ䈮ၮ䈒േ⊛䉲䉴䊁䊛ᄌൻᬌ⍮ ㇱಽⓨ㑆ౝ䈪䈱䉲䉴䊁䊛䉻䉟䊅䊚䉪䉴䈱⠨ᘦ 3. േ⊛䊝䊂䊦䈻䈱ᒛᕈ ㇱಽⓨ㑆䈪䈱䉻䉟䊅䊚䉪䉴 䊁䉴䊃䊂䊷䉺䈱⋙ⷞ 1. ᰴరᷫ䊶ౣ᭴ᚑ䈮䉋䉎ⴡᤊ䊁䊧䊜䊃䊥⋙ⷞ ᤤ䊂䊷䉺 ᄛ䊂䊷䉺 ⁁ᘒⓨ㑆䈲ૐᰴర ᱜᏱ䊝䊂䊦䈱ቇ⠌ ⚫䈜䉎⎇ⓥ ⲁ䊂䊷䉺 ᷹ⷰᰴర䈲ᢙ⊖䈪䉅ᧄ⾰⊛䈭 䊁䉴䊃䊂䊷䉺 ઍᚻᴺ䋺Mahalanobis〒㔌,1classSVM,SVDD,etc. ㇱಽⓨ㑆ᴺ䉕↪䈜䉎䊜䊥䉾䊃 1. ᰴరᷫ䈱วℂᕈ ⸠✵䊂䊷䉺 30 20 20 10 10 4. ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎േ⊛䉲䉴䊁䊛ቇ⠌ f xt , ut wt xt 1 40 yt g x t v t ⇣Ᏹᬌ⍮䈎䉌䊝䊂䊦ቇ⠌䈻 0 -10 0 20 10 0 -20 -10 -20 ㇱಽⓨ㑆ᴺ䈮䉋䉎⇣Ᏹᬌ⍮ 䊁䉴䊃䊐䉢䊷䉵 ⸠✵䊐䉢䊷䉵 YD ⸠✵ 䊂䊷䉺 ᱜᏱㇱಽⓨ㑆 䊁䉴䊃 䊂䊷䉺 2.䌛⎇ⓥ䋱䌝 ᰴరᷫ䊶ౣ᭴ᚑ䈮䉋䉎ⴡᤊ䊁䊧䊜䊃䊥⋙ⷞ ੇ⒤,⍫ஜਭ,ᴡේศિ,↸↰㓶, "ᰴరᷫ䈱ౣ᭴ᚑ⺋Ꮕ䉕↪䈇䈢⇣Ᏹᬌ⍮ᚻᴺ䈱Ყセ", ੱᎿ⍮⢻ቇળ╙23࿁ో࿖ᄢળ(JSAI2009) 8 YD ⇣Ᏹ! Y2 Y2 Y1 Y1 ᱜᏱ䈭⸠✵䊂䊷䉺䈏ಽᏓ䈜䉎 䇸ᱜᏱㇱಽⓨ㑆䇹䉕ቇ⠌ 䊁䉴䊃䊂䊷䉺䈫䇸ᱜᏱㇱಽⓨ㑆䇹 䈫䈱〒㔌䉕⋙ⷞ 部分空間法研究会2010 䈱ᣇ䋨ᰴరᷫ䈫ౣ᭴ᚑ⺋Ꮕ䋩 䊁䉴䊃䊐䉢䊷䉵 ⸠✵䊐䉢䊷䉵 ᱜᏱ⸠✵䊂䊷䉺 േᯏ䈫⋡⊛ ⋙ⷞ䋨䊁䉴䊃䋩䊂䊷䉺 1. ᦨㄭ䈱㕖✢ᒻᰴరᷫ䉝䊦䉯䊥䉵䊛䈻䈱⥝ ᓳర䊂䊷䉺 ᷹ⷰᰴర 䋨㜞ᰴర䋩 – 㕖✢ᒻᕈ䈱⠨ᘦ䈲ല䈎䋿 2. 䉪䊤䉴䉺䊥䊮䉫䈫䈱Ყセ䊶Ⲣว ᰴరᷫ – 䉲䉴䊁䊛⁁ᘒㆫ⒖䈱ㅪ⛯䊶㔌ᢔᕈ ౮ 䊕䉝 ᰴరᷫ ቇ⠌ ㆡ↪ ᰴరᓳర ⁁ᘒᰴర 䋨ૐᰴర䋩 ᰴరᷫ䊂䊷䉺 ᰴరᓳర Ყセ 3. ␜⊛䈭䇸ౣ᭴ᚑ䇹䈱ലᨐ䈱ᬌ⸽ – 䇸⇣Ᏹᐲ䇹એ䈱ᖱႎ䉕ឭଏ䈪䈐䉎䈎䋿 ౣ᭴ᚑ⺋Ꮕ Ყセ䈚䈢䉝䊦䉯䊥䉵䊛 䋨Ყセᚻᴺ䋱䋩✢ᒻਥᚑಽಽᨆ䋨PCA䋩 1. ✢ᒻਥᚑಽಽᨆ䋨PCA䋩 • ᦨ䉅ၮᧄ⊛䈭䋨✢ᒻ䋩ᰴరᷫ • ಽᢔᦨᄢ䋨䋽ౣ᭴ᚑ⺋Ꮕᦨዊ䋩✢ᒻᓇ • ᄙᄌ㊂⛔⸘⊛䊒䊨䉶䉴▤ℂ䋨MSPC)䈭䈬䈪⇣Ᏹ ᬌ⍮䈮↪ 2. 䉦䊷䊈䊦ਥᚑಽಽᨆ䋨KernelPCA䋩 3. ᷙว⏕₸ਥᚑಽಽᨆ䋨MixtureProbabilistic PCA䋩 – 䌑⛔⸘㊂ 4. 䉧䉡䉴ㆊ⒟ẜᄌᢙ䊝䊂䊦䋨GaussianProcess LatentVariableModel䋩 • ⸘▚䉮䉴䊃ዊ – ⸠✵ᤨ䋺 O(D3) 5. 䊤䊒䊤䉴࿕౮ẜᄌᢙ䊝䊂䊦䋨Laplacian Eigenmap LatentVariableMode䋩 • ᕈ⢻⹏ଔ䈱䊔䊷䉴䊤䉟䊮 6. Kmeans䉪䊤䉴䉺䊥䊮䉫 䋨Ყセᚻᴺ䋳䋩ᷙว⏕₸ਥᚑಽಽᨆ䋨MPPCA䋩 䋨Ყセᚻᴺ䋲䋩 䉦䊷䊈䊦ਥᚑಽಽᨆ䋨KPCA䋩 [Tipping&Bishop99] [Schölkopf 98] • 䉦䊷䊈䊦䈮䉋䉍PCA䉕㕖✢ᒻൻ • ⏕₸⊛PCA䋨PPCA䋩䈱ᷙว䊝䊂䊦 • ዪᚲ✢ᒻ䊝䊂䊦 – ․ᓽⓨ㑆䈮䈍䈇䈩ౣ᭴ᚑ⺋Ꮕᦨዊ䈭✢ᒻᓇ – ᔅ䈝䈚䉅䇸ᷫ䇹䈮䈲䈭䉌䈭䈇 – 㕖✢ᒻ䈭ಽᏓ䉕᛬䉏✢䊶䉺䉟䊦ㄭૃ – VQPCA䈫䈱㆑䈇䋺ዪᚲᕈ䇮⏕₸䊝䊂䊦 • [Hoffmann07] ⇣Ᏹᬌ⍮䈻䈱ᔕ↪ – 1classSVM╬䈫competitive䋨䈢䈣䈚䇮toyproblem䋩 • 䉪䊤䉴䉺䊥䊮䉫䈫ᰴరᷫ䈱ਛ㑆 • ᷹ⷰⓨ㑆䈪䈱ౣ᭴ᚑ䋨Preimage㗴䋩[Kwok03] Y F ᷹ⷰⓨ㑆 y R D c ^c1 , , cm `, x R d yˆ R D ర䊂䊷䉺 ․ᓽⓨ㑆 䉮䊮䊘䊷䊈䊮䊃⇟ภ䋫ᐳᮡ ᓳర䊂䊷䉺 • EM䉝䊦䉯䊥䉵䊛䈮䉋䉎ቇ⠌ – ೋᦼ⸃↢ᚑ䈮 kmeans↪ 䉦䊷䊈䊦䈮䉋䉎 㕖✢ᒻ౮ 9 部分空間法研究会2010 䋨Ყセᚻᴺ䋵䋩 䊤䊒䊤䉴࿕౮ẜᄌᢙ䊝䊂䊦䋨LELVM) 䋨Ყセᚻᴺ䋴䋩䉧䉡䉴ㆊ⒟ẜᄌᢙ䊝䊂䊦 䋨GPLVM䋩 [Lawrence04] [CarreiraPerpinan07] • 䉧䉡䉴ㆊ⒟䋨GaussianProcess䋩࿁Ꮻ䉕㕖✢ᒻ ᰴరᷫ䈮ᒛ • Laplacian Eigenmap [Belkin03]䈱ᒛ – LEM:GraphLaplacian䈱࿕ಽ⸃ – 䉦䊷䊈䊦࿁Ꮻ䉕↪䈇䈢outofsample䈱ᰴర ᷫ䊶ౣ᭴ᚑ䊙䉾䊏䊮䉫 – ẜᄌᢙ x R d䈎䉌᷹ⷰᄌᢙ y R 䈻䈱౮䉕 GP䈮䉋䈦䈩 D • ⏕₸⊛PCA䈱㕖✢ᒻ – ㄝዕᐲ䉕൨㈩ᴺ䈪ᦨᄢൻ – ⶄᢙ䈱ዪᚲ⸃䈅䉍 – ઁ䈱ᰴరᷫᴺ 䋨PCA,ISOMAP䋩䈮䉋䉎ೋᦼൻ K y y , y n N x f y { ¦ n 1 N yˆ ¦ gx { ¦ n 1 N nc K y y, y nc K x x, x n ¦ N nc xn ᰴరᷫ yn ౣ᭴ᚑ K x x, x nc – LEM䈱㐳ᚲ䋨ᄢዪ⸃䋩䉕⛮ᛚ 䌛ታ㛎䋱䌝ⴡᤊA䊋䉾䊁䊥䊷⇣Ᏹ 䋨Ყセᚻᴺ䋶䋩Kmeans 䉪䊤䉴䉺䊥䊮䉫 • 㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱14ᄌᢙ䋨㔚ᵹ䇮᷷ᐲ ╬䋩䈮ㆡ↪ • 䉪䊤䉴䉺䊥䊮䉫䋨ᢎᏧ䈭䈚ಽ㘃ቇ⠌䋩 – (ref.)ᰴరᷫ䋽ᢎᏧ䈭䈚࿁Ꮻቇ⠌ ⸠✵䊂䊷䉺 – ẜᄌᢙ䋨ᷫవ䈱ⓨ㑆䋩䈏ㅪ⛯䈎㔌ᢔ䈎䈱㆑䈇 䊁䉴䊃䊂䊷䉺 • ⸠✵䊂䊷䉺䋺䇸ᱜᏱ䇹䈭 ⚂䋲ᣣ㑆䈎䉌1400ὐ • ᭽䇱䈭䈫䈖䉐䈪⇣Ᏹᬌ⍮䈻䈱 • 䊁䉴䊃䊂䊷䉺 :䇸⇣Ᏹ䇹 䉕䉃700ὐ ᔕ↪䈅䉍 • 䉪䊤䉴䉺䊷䈱╬ᣇ⊛䈭ಽᏓ䉕 • ฦ䉝䊦䉯䊥䉵䊛䈱䊌䊤 䊜䊷䉺୯䇮⇣Ᏹ್ቯ㑣 ୯䈲⸠✵䊂䊷䉺䈪䈱 Ꮕᬌቯ䈮䉋䉍ቯ ቯ 䌛ታ㛎䋱䌝ౣ᭴ᚑ䈮ၮ䈒⸵ኈ▸࿐䋨ᄌᢙ䋳䋩 䌛ታ㛎䋱䌝ౣ᭴ᚑ⺋Ꮕ䋨ㇱಽⓨ㑆䈻䈱〒㔌䋩 ⇣Ᏹⷐ࿃䈮䇸ㄭ䈇䇹ᄌᢙ䋨byኾ㐷ኅ䋩䈮䈧䈇䈩䈱ౣ᭴ᚑ⚿ᨐ 䉒䈎䉍䉇䈜䈇⇣Ᏹ䈱䈢䉄䇮ో䈩䈱䉝䊦䉯䊥䉵䊛䈪ᬌ⍮น ⸵ኈ䊥䊚䉾䊃䈱䈏䉝䊦䉯䊥䉵䊛䈮䉋䈦䈩⇣䈭䉎 10 部分空間法研究会2010 䌛ታ㛎䋲䌝ౣ᭴ᚑ⺋Ꮕ䋨ㇱಽⓨ㑆䈻䈱〒㔌䋩 䌛ታ㛎䋲䌝ⴡᤊBᄥ㓁㔚ᳰ䊌䊄䊦⇣Ᏹ • 㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱106ᄌᢙ䈮ㆡ↪ ⸠✵䊂䊷䉺 䊁䉴䊃䊂䊷䉺 • ⸠✵䊂䊷䉺䋺䇸ᱜᏱ䇹䈭 ⚂3ᣣ㑆䈎䉌2500ὐ • 䊁䉴䊃䊂䊷䉺 :䇸⇣Ᏹ䇹 䉕䉃2ᣣ㑆ᒝ䈎䉌 2000ὐ • 䊁䉴䊃䊂䊷䉺䈱1100ὐ ઃㄭ䋨ో䈪䈲3600 ὐ䋩䈪৻ㇱ䈱㔚䈏䉇 䉇ૐਅ ⏕䈮ᬌ⍮䈪䈐䈢䈱䈲MPPCA䈱䉂 䌛ታ㛎䋲䌝ౣ᭴ᚑ䈮ၮ䈒⸵ኈ▸࿐䋨ᄌᢙ䋹䋴䋩 ⚿ᨐ䈱⠨ኤ 1. 㕖✢ᒻᰴరᷫᚻᴺ䉕䈉䊜䊥䉾䊃䈲䈅䉎䈎䋿 – ৻ቯ䈱ലᨐ䈲䉄䉌䉏䉎䈏䇮⸘▚䉮䉴䊃䈮ว䈉 䈎䈬䈉䈎䈲ᓸᅱ 2. 䉪䊤䉴䉺䊥䊮䉫䈮䉋䉎ᣇᴺ䈫䈱㆑䈇䈲䈎䋿 – ੱᎿⴡᤊ䈱䉋䈉䈮ㅪ⛯⊛䈭⁁ᘒㆫ⒖䈫㔌ᢔ⊛䊝䊷 䊄ㆫ⒖䉕ᜬ䈧䉲䉴䊁䊛䈪䈲䇮ᰴరᷫ䊶䉪䊤䉴䉺䊥䊮 䉫ਔ⠪䈱ᕈ⾰䉕ᒁ䈐⛮䈓MPPCA䈏ᦨ⦟ 3. ౣ᭴ᚑ䈜䉎䊜䊥䉾䊃䈲䋿 – 䇱䈱ᄌᢙ䊧䊔䊦䈪䈱⇣Ᏹᬌ⍮䉇⁁ᘒᛠី䊶ේ࿃ ⸃ᨆ䈮↪䋨ኾ㐷ኅ䈮䉅ᅢ⹏䋩 ౣ᭴ᚑ䈮䉋䉍䇱䈱ᄌᢙ䊧䊔䊦䈪䈱⇣Ᏹ䈲ᬌ⍮น⢻ ၮᧄ䉝䉟䊂䉝 ‛ℂ ᴺೣ 㜞ᰴర䈱 䊁䊧䊜䊃䊥䊂䊷䉺 3.䌛⎇ⓥ䋲䌝 ᓮೣ 䉦䊷䊈䊦․ᓽⓨ㑆䈮䈍䈔䉎ᱜḰⷺ⋙ⷞ䈮䉋䉎 ቝቮᯏ⇣Ᏹᬌ⍮ • • 䊉䉟䉵 ᜔᧤ 䈅䉎ㇱಽⓨ㑆䉕ਛᔃ䈮 ᓸዊᄌേ ৻ቯᦼ㑆䈱᷹ⷰ䊂䊷䉺䈏ᒛ䉎ㇱಽⓨ㑆䈲 䈅䉎ઍㇱಽⓨ㑆䉕ਛᔃ䈮ᓸዊᄌേ䈜䉎䈲䈝 Ryohei Fujimaki,Takehisa Yairi,KazuoMachida, "AnApproachto SpacecraftAnomalyDetectionProblemUsing KernelFeatureSpace", TheEleventhACMSIGKDDInternational ConferenceonKnowledge DiscoveryandDataMining(KDD05), pp.401410,2005 ⮮Ꮞㆯᐔ䋬⍫ஜਭ䋬↸↰㓶䋬䉦䊷䊈䊦䊍䊦䊔䊦䊃ⓨ㑆䈮䈍䈔䉎 ᱜḰⷺ䉕↪䈚䈢ቝቮᯏ⇣Ᏹᬌ⍮ᴺ,╙20࿁ੱᎿ⍮⢻ቇળో࿖ᄢ ળ੍Ⓜ㓸,2006 ቝቮᯏ䊂䊷䉺䈏᜔᧤䈘䉏䉎ૐᰴరⓨ㑆䈠䈱䉅䈱䉕 Ყセ䈜䉎䈖䈫䋨䋽⋧ㇱಽⓨ㑆ᴺ䋩䈪⇣Ᏹᬌ⍮ 11 部分空間法研究会2010 ᚻᴺ䈱ⷐ䋺ో䈱䊐䊨䊷 ⸠✵䊂䊷䉺㓸ว䈱↢ᚑ 䊂䊷䉺 D1 D2 䊁䉴䊃ㇱಽⓨ㑆 DM N 䊂䊷䉺䉕SlidingWindow䈮䉋䈦䈩䉶䉫䊜䊮䊃ൻ䈚 ⸠✵䊂䊷䉺㓸ว{D1,D2..,DM}䉕↢ᚑ䈜䉎 ᱜᏱㇱಽⓨ㑆 ․ᓽ䈱 ᱜᏱઍㇱಽⓨ㑆 䋨RS䋩 ℂᗐ 䋺 ⸠✵䊂䊷䉺䈮ኻ䈚䈩⇣Ᏹᐲ䈏ᦨዊ䈫䈭䉎ㇱಽⓨ㑆 Ј ⋥ធ䈱ᦨㆡൻ䈲࿎㔍 ฦ⸠✵䊂䊷䉺䉰䊑䉶䉾䊃 Dj 䈗䈫䈮䇮KernelPCA 䋨Scholkopf,1998䋩䈮䉋䈦䈩䇮․ᓽⓨ㑆䈮䈍䈔 䉎ਥⷐ䈭ㇱಽⓨ㑆䈱ၮᐩ䉕᳞䉄䉎 W ၮᐩ ¦D vkj j i ,k I ( xij ) i 1 Dj 䈱ਥⷐㇱಽⓨ㑆 KDD2005䈪䈲.. ✭ V j j 1 [v v v ] j 2 j m wkT U k wk subjectto SystemBlockDiagram ࠬࠬ࠲ ផജ • ⇣Ᏹᐲ G :ᱜḰⷺ䈱㊀䉂䈪ቯ⟵ 6 㕖᷹ⷰ probability density ㊀䉂 Qk 䈲╙k࿕୯䈱ᄢ䈐䈘 䈱ᐔဋ䈮Ყ䈚䈩ቯ ⸠✵䊂䊷䉺{D1,D2..,DM}䈮䈍䈔䉎 ⇣Ᏹᐲ䈱ಽᏓ䈮ၮ䈐⸳ቯ ⷺㅦᐲ ࠪࠬ࠹ࡓ ࠳ࠗ࠽ࡒࠢࠬ ⟎ 6 Alarm ㅦᐲ 6 H J 1 A11w1 wkT Akk wk 1 wkT Akl wl 0 (l 1, , k 1) ታ㛎䋺䉲䉴䊁䊛䈫䊂䊷䉺 ᆫ • ⇣Ᏹᐲ䈮㑐䈜䉎⼊ႎ㑣୯ U1w1 ㅙᰴੑᰴ⸘↹ᴺ䋨SQP䋩䈪᳞⸃ 6 k 1 䉕ᦨᄢൻ • ╙ kၮᐩ rk (k>1): ⚂ઃ㕖✢ᒻᦨㆡൻ㗴 • ઍㇱಽⓨ㑆䋨RS䋩䈫䊁䉴䊃ㇱಽⓨ㑆䈱Ꮕ⇣ Ј ᱜḰⷺ Tk 䋨k=1,..,m䋩 䈪⹏ଔ k 2 • ╙䋱ၮᐩ r1 : ৻⥸ൻ࿕୯㗴 v1j ᱜḰⷺ䈫⇣Ᏹᐲ k rk , vkj න⚐ൻ v2j 䈚䈎䈚䇮ㇱಽⓨ㑆䈠䈱䉅䈱䉕․ᓽ䈫䈜䉎䈾䈉䈏วℂ⊛ m j j k k j 1 vmj ਥᚑಽ䊔䉪䊃䊦䈱✢ᒻ⚿ว ¦Q T ¦w v j 1 M ¦ 䋨2䋩╙䋱ၮᐩ䈎䉌㗅䈮 J rk 䉦䊷䊈䊦ⴕ䈱࿕୯ಽ⸃䈎䉌 max G M 䋨1䋩RSၮᐩ䈏⸠✵ㇱಽⓨ㑆䈱ၮᐩ䈱㊀䉂䈪น rk anomaly metric 12 ᧂ⍮ ቝቮ䉴䊁䊷䉲䊢䊮䈻䈱 䊤䊮䊂䊑䉲䊚䊠䊧䊷䉲䊢䊮 䊶14䉮䊙䊮䊄♽ 14䈱䉮䊙䊮䊄䈮ኻᔕ 䉴䊤䉴䉺䈻䈱୯䉕䈜 䊶12᷹ⷰ♽ 3ᰴరⓨ㑆䈪䈱ቝቮᯏ䈱 ⁁ᘒ㊂䋨ᆫ䇮ⷺㅦᐲ䇮 ⟎䇮ㅦᐲ䋩 䉲䊚䊠䊧䊷䉺䈮㓚䉕⊒↢䈘䈞 ᬌ⍮䈜䉎 部分空間法研究会2010 㓚1䋺ᱜᒏᵄ⊛ᄌേ 㓚2䋺ផജૐਅ 䎔 ㆡᔕ⊛䮱䮦䮊䮏䮈䭮䮊䭶䰆䮎䯃䮆ዕᐲ 䎕䎑䎘 䎓䎑䎚䎘 䎓䎑䎘 䎔䎑䎘 ⇣Ᏹᐲ䈏㜞䈇 䎔 䎓䎑䎘 䎓䎑䎕䎘 䎓 䮎䯃䮆ዕᐲ 䮱䮦䮊䮏୯ ¾ALC䈲ᬌ⍮䈮ᄬᢌ 䎓 㑣୯ 䎔 䎓䎑䎚䎘 ⇣Ᏹᐲ ផ⒖䈱ᒻ䈏㘃ૃ ⇣Ᏹ⊒↢⋥ᓟ䈮ᬌ⍮ ឭ᩺ᚻᴺ䋺⇣Ᏹᐲ 䊥䊚䉾䊃䉼䉢䉾䉪ဳ䈱⇣Ᏹᬌ⍮ᴺ ో⥸䈮⸒䈋䉎㗴 ⇣Ᏹᐲ 䮱䮦䮊䮏୯ 䎓䎑䎘 䎔䎓䎓 䎓䎑䎕䎘 䉴䊤䉴䉺ផജ 䎘䎓 ¾KFSᴺ䈲ᬌ⍮䈮ᚑഞ 䎓 㓚ේ࿃䈱⸃ᨆ 䉕ᡰេ䈜䉎䈖䈫䈏น⢻ 䎚䎘 䎕䎘 ¾⇣Ᏹ⊒↢ᓟ䉅ઁ䈱䉴䊤䉴䉺䈏ផജਇ⿷ 䉕ቢ䈜䉎䈢䉄ᆫ䈲ᄢ䈐䈒ᄌേ䈚䈭䈇 䎕 䮀䮰䮀䮆ផജ 䎚䎘 ⇣Ᏹᐲ䈏㜞䈇 ታ㓙䈱⇣Ᏹ䈱ផ⒖ 䎘䎓 䎕䎘 䎓 䎓 䎕䎓䎓 䎕䎘䎓 䎖䎓䎓 䊂䊷䉺䈱㕙⊛䈭േ䈮ᄢ䈐䈒 䉏䈭䈇ⶄ㔀䈭⇣Ᏹ䉕ᬌ⍮น⢻ 䎔䎓䎓 䎖䎘䎓 ᬌ⍮䉁䈪䈱ᤨ㑆䈲䋬⺋⼊ႎ䈫䈱䊃䊧䊷䊄䉥䊐 ࿁䈱䊥䊚䉾䊃⸳ቯ䈪䈲⺋⼊ႎ1% 䮀䮰䮀䮆ផജ 䎕䎓䎓 䎕䎘䎓 䎖䎓䎓 䎖䎘䎓 ᤨ♽䊂䊷䉺䈱⇣Ᏹ䊶ᄌൻὐᬌ⍮ 䋱䋮ㅪ⛯䈜䉎䋲㑆䈱䊂䊷䉺䉕↢ᚑ䈜䉎⏕₸ኒᐲಽᏓ䈱ផቯ 䋲䋮䋲䈧䈱⏕₸ኒᐲಽᏓ㑆䈱㕖㘃ૃᐲ䋨〒㔌䋩䉕⹏ଔ ኻ⽎ᤨೞ ෳᾖ㑆 4.䌛⎇ⓥ䋳䌝 䊶䊶䊶 䊶䊶䊶 䊶䊶䊶 yt y m1 t m ㇱಽⓨ㑆หቯᴺ䈮ၮ䈒േ⊛䉲䉴䊁䊛ᄌൻᬌ⍮ ⹏ଔ㑆䋨n䋩 y 䊶䊶䊶 yt 2 yt t m1 1 • y t+1 䊶䊶䊶 䊶䊶䊶 䊶䊶䊶 yt+n 2 yt+n 1 yt+n 䊶䊶䊶 ↢ᚑ Pෳᾖ y • yt Yoshinobu KAWAHARA,Takehisa YAIRI,andKazuo MACHIDA, ”ChangePointDetectioninTimeSeriesDatabasedon Subspace Identification”,Proceedingsofthe7thIEEEInternational Conference onDataMining(ICDM),Omaha,2007,pp.559564 ᴡේ ศિ,⍫ ஜਭ,↸↰ 㓶, "ㇱಽⓨ㑆ᴺ䈮ၮ䈨䈒ᄌൻὐᬌ⍮ 䉝䊦䉯䊥䉵䊛", ੱᎿ⍮⢻ቇળ⺰ᢥ, ╙23Ꮞ2ภ,pp.7685 ᤨೞ ↢ᚑ 䈚䈐䈇୯ P⹏ଔ y D Pෳᾖ, P⹏ଔ҇ Pෳᾖѳ P⹏ଔ ᄌൻ䋨⇣Ᏹ䋩䈭䈚 D Pෳᾖ, P⹏ଔ㧪 Pෳᾖ P⹏ଔ ᄌൻ䋨⇣Ᏹ䋩䈅䉍 㬍 䊌䊤䊜䊃䊥䉾䉪䈭䊝䊂䊦䉕ㅙ৻ផቯ䈜䉎ᔅⷐ䈏䈅䉎 䋨⸘▚ㅦᐲ,ജ,etc.䋩 ㇱಽⓨ㑆ᴺ䈮䉋䉎䉝䊒䊨䊷䉼 ၮḰㇱಽⓨ㑆䈱ㆬᛯᴺ䋨ᓥ᧪ v.s.ឭ᩺ᣇᴺ䋩 ᓥ᧪ᣇᴺ ㆊ䈱᷹ⷰ䊂䊷䉺䋨ෳᾖ㑆䋩䈏ᒛ䉎ㇱಽⓨ㑆䈮ኻ䈜 䉎䋬ᣂ䈚䈒ᓧ䉌䉏䈢᷹ⷰ䊂䊷䉺䋨⹏ଔ㑆䋩䈱〒㔌䈱✚ 䉕⹏ଔ䈜䉎䋮 ਥᚑಽ䈏ᒛ䉎ⓨ㑆䉕↪ 㪉㪅 㪟㪸㫅㫂㪼㫃 ⴕ䈱․⇣䊔䉪䊃䊦 1.ㆊ䋨ෳᾖ㑆䋩䈱䊂䊷䉺䉕↪䈇 䈩․ᓽⓨ㑆䋨䊂䊷䉺䈱․ᕈ䉕䈜 ㇱಽⓨ㑆䋩䉕᳞䉄䉎 ᣂ䈚䈒ᓧ䉌䉏䈢䊂䊷䉺 ฦᤨὐ䈱᷹ⷰ䊔䉪䊃䊦 yt 㪈㪅 ਥᚑಽ䊔䉪䊃䊦 [Kanoetal.2004] YM ( t )T yt yt+1 … yt+M1 ᷹ⷰ䊔䉪䊃䊦䈱ㇱಽ [Moskvina&Zhigljavsky2003,Idé&Inoue2005] yt yt+1 yt+1 yt+2 … … yt+N1 yt+N T T ytT yt+1 … yt+M 1 2.ᣂ䈚䈇䊂䊷䉺䋨⹏ଔ㑆䋩䈫 ᳞䉄䈢ㇱಽⓨ㑆䈫䈱〒㔌䉕 ⹏ଔ䈜䉎 ㆊ䋨ෳᾖ㑆䋩 yt+k-1 yt+k … … Y k,N t USVT yt+k+N2 Hankelⴕ䈱 Ꮐ․⇣䊔䉪䊃䊦䈏 ᒛ䉎ⓨ㑆䉕↪ 㪊㪅 ᷹ⷰㇱಽ䈱ᱜⷙൻ䈘䉏䈢ಽᢔⴕ 䈱․⇣䊔䉪䊃䊦 䈱䊂䊷䉺 Yp = Yk,N tYf = Yk,N t+1 Ј ၮḰ䈫䈭䉎ㇱಽⓨ㑆䉕䈬䈱䉋䈉䈮ㆬᛯ䈜䉎䈎䋿 䋨․䈮䇮䉲䉴䊁䊛䈮䉻䉟䊅䊚䉪䉴䈏䈅䉎႐ว䋩 pp pf 1 Yp Y T YT pp pf N1 Yf p f 13 T 1/2 T f f 1/2f p pp ѳ U1S1V1 ឭ᩺ᚻᴺ䈱႐ว f1/2 U1 S11/2 f 䈱䊔䉪䊃䊦 䈏ᒛ䉎ⓨ㑆 䉕↪ 部分空間法研究会2010 ឭ᩺ᣇᴺ䈮䉋䉎ၮḰㇱಽⓨ㑆䈱ᕈ⾰ Hankel ⴕ … et+k-1 et+k 1.ᆫᄌᦝ䊙䊇䊷䊋䋨1,500⑽䋩 2.䊨䊷䊦ゲRW䈱㓚䋨3,500⑽䌾䋩 et+k+N2 䉋䈦䈩䇮 6 U S 12 1 1 | Ok ⚻ᤨ⊛⇣Ᏹ䈱⊒↢ 1.ᆫᄌᦝ䊙䊇䊷䊋䋨1,500⑽䋩 2.䊨䊷䊦ゲRW䈱㓚䋨3,500⑽䌾䋩 ⴕ䈱䊔䉪䊃䊦䈏ᒛ䉎ⓨ㑆 12 ff RW䈱䋨ജ䋯䉮䊙䊮䊄䋩Ყ䋨㓚₸䋩 䊂䊷䉺 L]Yk,M _ ѳL]Ok _ yk 䋨᷹ⷰㇱಽ䋩 ᆫᄌᦝ ⊒↢䈚䈢䉟䊔䊮䊃䋨ᄌൻ䋩䋺 et+N1 et+N … CAk1 yt+k+N2 … xt , xt+1 ,… , xt+N1 +k䊶 et+1 et+2 … … = et et+1 PrecessionAngle ᮨᡆ䈚䈢࿁ⴡᤊ 䊉䉟䉵䈮࿃䈜䉎㗄 ⁁ᘒ … … yt+k-1 yt+k … C CA ੱᎿⴡᤊ䈏৻ቯ䈱 ᆫ䉕䈧䉋䈉䈮䋬 3䈧䈱RW䉕↪䈇䈩䋬 ฦゲ䉁䉒䉍䉕ᓮ䋮 ਗ䈼䈩 Hankel ⴕ Yk,N (t) 䉕䉎䈫 ᄢน᷹ⷰⴕ yt+N1 yt+N … yt+1 yt+2 ࿁ⴡᤊ䈱ᆫᄌᦝ䊙䊇䊷䊋䊶RW䈱㓚䉕ᮨᡆ䈚䈢䊂䊷䉺䈻ㆡ↪ [Katayama&Picci 1996] 㔌ᢔᤨ㑆✢ᒻ⁁ᘒⓨ㑆䊝䊂䊦 x t+1 = A x t + Ke t y t = C x t + e t yt yt+1 ㆡ↪䋺 ቝቮᯏ䉲䊚䊠䊧䊷䉲䊢䊮䋨㗴⸳ቯ䋩 䈲ᄢน᷹ⷰⴕ Ok 䈱ផቯ୯䈮䈭䉎 f1/2 U1 S11/2 f *) ᧄ䉲䊚䊠䊧䊷䉲䊢䊮䈲䋬㪧㫉㫀㫅㪺㪼㫋㫆㫅㩷㪪㪸㫋㪼㫃㫃㫀㫋㪼㩷㪪㫐㫊㫋㪼㫄㫊㪃㩷㪠㫅㪺㪅䈱㪤㪘㪫㪣㪘㪙㩷㪪㫇㪸㪺㪼㪺㫉㪸㪽㫋㩷㪚㫆㫅㫋㫉㫆㫃㩷㪫㫆㫆㫃㪹㫆㫏䉕↪䈇䈩ᚑ䋮 䈱ⓨ㑆䈏ၮḰㇱಽⓨ㑆䈫䈚䈩วℂ⊛ ㆡ↪䋺 ቝቮᯏ䉲䊚䊠䊧䊷䉲䊢䊮䋨⚿ᨐ䋩 RW䈱⇣Ᏹ⊒↢ ᄌൻ䈱ᐲว䈇䋨Martin〒㔌䋩 RW䈱⇣Ᏹ䈮䉋䉎 ⚻ᤨ⊛ᄌൻ䈮䈉 ᆫᄌᦝ䈮䉋䉎 ᄌൻ䈮䈉 500 1000 1500 2000 2500 3000 3500 5.䌛⎇ⓥ䋴䌝 4000 ᷙวㇱಽⓨ㑆หቯᴺ䈮䉋䉎㕖✢ᒻേ⊛ 䉲䉴䊁䊛ቇ⠌ ᆫᓮ⺋Ꮕ䋨㪩㫆㫃㫃䋩 • ᷹ⷰ䊂䊷䉺䈮䉏䉎ᄌ⺞ • ᷹ⷰ䊂䊷䉺䈮⋥ធᄌ⺞䈏䉏䉎೨䈮䉲䉴䊁䊛䈱േ⊛․ᕈ䈱ᄌൻ䉕ᬌ⍮ ㇱಽⓨ㑆หቯᴺ䈫䈲 MasaoJoko,Yoshinobu Kawahara,Takehisa Yairi, "LearningNonlinear DynamicalSystemsbyAlignmentofLocalLinear Models",20th InternationalConferenceonPatternRecognition(ICPR),August,2010. ↲㇢,ᴡේศિ,⍫ஜਭ, "ዪᚲ✢ᒻ䊝䊂䊦䈱ᢛ䈮䉋䉎㕖✢ ᒻ䉲䉴䊁䊛䈱ቇ⠌ᴺ", ╙24࿁ੱᎿ⍮⢻ቇળో࿖ᄢળ(JSAI2010) CCA䈮ၮ䈒ㇱಽⓨ㑆หቯᴺ • 1980ᐕઍᓟඨ㗃䈎䉌䉲䉴䊁䊛หቯಽ㊁䈪⊒ዷ • ᱜḰ⋧㑐ಽᨆ䋨CCA䋩䈮䉋䉎หቯ䌛Akaike76䌝 䌛Larimore83䌝䌛 ጊ04䌝 • ജ䊂䊷䉺䈏ᒛ䉎ㇱಽⓨ㑆䈮䈍䈔䉎ᐞቇ⊛ Ṷ▚䈮䉋䉍䋬䊂䊷䉺䉕↢ᚑ䈜䉎⁁ᘒⓨ㑆䊝䊂䊦䋬⁁ ᘒ䊔䉪䊃䊦䉕ផቯ䈜䉎ᣇᴺ • MOESP,N4SID,CVA(CCA)䈭䈬䋨⛔৻ℂ⺰䈅䉍䋩 • ෳ⠨ᢥ₂ :䌛 ጊ04䌝䈭䈬 • 䇸⁁ᘒ䈫䈲䇮ᧂ᧪䋨ㆊ䋩䉕੍᷹䈜䉎䈢䉄䈮ᔅ ⷐ䈭ㆊ䋨ᧂ᧪䋩䈱ᖱႎ䉕❗⚂䈚䈢䉅䈱䇹 Ut-1 N4SIDᴺ䈱⠨䈋ᣇ 䋨䌛 ጊ04䌝䉋䉍䋩 14 Ut-1 Ut Ut+1 ᧂ᧪ ജ Xt Xt Xt+1 ㆊ ജ䊶 Yt ജ Yt Yt+1 ᧂ᧪ ജ Xt Y-,U- U+ Y+ 部分空間法研究会2010 ᷙว䊝䊂䊦䈱䉝䊤䉟䊜䊮䊃䈮䉋䉎 ㇱಽⓨ㑆หቯᴺ䈱㕖✢ᒻൻ CCA䈮ၮ䈒ㇱಽⓨ㑆หቯ䋨⛯䋩 • ✢ᒻ䊝䊂䊦䈱ቯ x(t 1) Ax(t ) w(t ) 䋨ജή䈚䈱႐ว䋩 ®¯ y (t ) Cx(t ) v(t ) 1. ዪᚲ✢ᒻ䉝䊤䉟䊜䊮䊃䉝䊒䊨䊷䉼䋨ឭ᩺ᚻᴺ䋩䈮 䉋䈦䈩⁁ᘒ䊔䉪䊃䊦䉕ᓧ䉎 ᷹ⷰ䊔䉪䊃䊦 ⋥ធ᷹ⷰ䈘䉏䈭䈇⁁ᘒ䊔䉪䊃䊦 • ㆊ䈱᷹ⷰㇱಽ䈫ᧂ᧪䈱᷹ⷰㇱಽ䈫䈱 ᱜḰ⋧㑐ಽᨆ䋨CCA䋩䈮䉋䉍⁁ᘒ䉕ផቯ ° x (t ) { S V 6 ® b 1/ 2 T °̄ x (t ) { S U 6 T 1/ 2 x(t 1) Ax(t ) w(t ) ® ¯ y (t ) Cx(t ) v(t ) where ೨ะ䈐䋧ᓟะ䈐⁁ᘒ䊔䉪䊃䊦 f 2. ฦㇱಽⓨ㑆䈮䈍䈇䈩ᦨዊ⥄ਸ਼ᴺ䉕ㆡ↪䈚䇮䉲䉴䊁 䊛ⴕ䉕᳞䉄䉎 y k (t ) { [ y (t 1)T , y (t 2)T , , y (t k )T ]T ® T T T T ¯ y k (t ) { [ y (t ) , y (t 1) , , y (t k 1) ] 6 ff { E{( y k (t ) P )( y k (t ) P )} y (t ) y (t ) 1 / 2 pp k 1 / 2 ff k 6 ff1/ 2 6 fp 6 ppT / 2 䋨 䋨ᒛᚻ㗅䋩 1. CCA䈮ၮ䈨䈒ㇱಽⓨ㑆หቯᴺ䉕⏕₸⊛䈮⸃㉼䈜䉎 2. ᄙ᭽ቇ⠌䈱䈵䈫䈧䈪䈅䉎䉝䊤䉟䊜䊮䊃䊔䊷䉴䈱 ᷙว⏕₸䊝䊂䊦ቇ⠌䉝䊒䊨䊷䉼 䉕ㆡ↪䈚䇮㕖✢ᒻ 䈮ᒛ䈜䉎 USV T • ᦨዊ⥄ਸ਼ᴺ䈮䉋䉍䊌䊤䊜䊷䉺䋨A,C,╬䋩䉕ផቯ ᒛᚻ㗅1:ㇱಽⓨ㑆หቯᴺ 䈱⏕₸⊛⸃㉼䋨⛯䈐䋩 ᒛᚻ㗅䋱:ㇱಽⓨ㑆หቯᴺ 䈱⏕₸⊛⸃㉼ • 䋨䋪䋩䈲CCA䈱ẜᄌᢙ䊝䊂䊦 [Bach&Jordan 06] 䈫৻⥌䇯䉋䈦䈩એਅ䈱䉋䈉䈮ᦠ䈔䉎 • ᤨೞt䈮䈍䈔䉎ᧂ᧪䈱ജ䇮ㆊ䈱ജ䈲 x f (t ) , x b (t ) 䉕↪䈇䈩䇮એਅ䈱䉋䈉䈮䈘䉏䉎 䋨䋪䋩 䈢䈣䈚 䇮 น᷹ⷰⴕ x ~ N (0, I d ) 䈲ᄢ yk | x ~ N ( F1 x, <1 ) yk | x ~ N ( F2 x, <2 ) b • ㅒ䈮ᑼ䈎䉌䇮 x f (t ) , x (t ) 䈲䈠䉏䈡䉏 ㆊ䈫ᧂ᧪䈱᷹ⷰ䈱චಽ⛔⸘䈪䈅䉎䈖䈫䈏 䉒䈎䉎䇯䈧䉁䉍䇮 p ( x f ) p ( x | yk ) ® b ¯ p ( x ) p ( x | yk ) ᱜḰ⋧㑐ಽᨆ䈲䇮䋲⚵䈱㓸ว䈱 㑆䈮ሽ䈜䉎✢ᒻ㑐ଥ䉕䉌䈎 䈮䈜䉎ᄙᄌ㊂⸃ᨆ䈱ᚻᴺ䈪䈅䉍䇮 [BachandJordan06]䈮䉋䈦䈩⏕ ₸⊛䈭⸃㉼䈏䈭䈘䉏䈢䇯 ㆊ䈱ജ 1.5 1 0.5 0 -0.5 -1 -1.5 -2 ẜᄌᢙ (⁁ᘒ䊔䉪䊃䊦) 䊦) ⋡⊛㑐ᢙ L' 䋨䊕䊅䊦䊁䉞䈧䈐 ኻᢙዕᐲ䋩 c=1 c=2 c=3 c=4 2 䉟䊜䊷䉳࿑ 䋨ᷙวⷐ⚛ᢙC=5,ૐᰴర 䋨ᷙวⷐ⚛ᢙC=5,ૐᰴరⓨ㑆䈱ᰴరᢙd=2) ᧂ᧪䈱ജ ᷹ⷰⓨ㑆 ᧂ᧪䈱ജ ૐᰴర⁁ᘒⓨ㑆䈪䈱゠〔䈫ฦᷙวⷐ⚛ 䋨ᷙวⷐ⚛䋩 x ㆊ䈱ജ ẜᄌᢙ (⁁ᘒ䊔䉪䊃䊦) ㆡ↪䋱䋺䊝䊷䉲䊢䊮䉨䊞䊒䉼䊞*䈻䈱ㆡ↪ • ⏕₸⊛䈮⸃㉼䈘䉏䈢ㇱಽⓨ㑆หቯᴺ䈮ኻ䈚䈩䇮 ዪᚲ✢ᒻ䊝䊂䊦䈱ᢛ䉕⠨䈋䇮ᄢၞ⊛䈭⁁ᘒ ⓨ㑆䉕᭴▽䈜䉎䋨ᚻ㗅䈲[Verbeek 06]䈮ᓥ䈉䋩 s ẜᄌᢙ x ቝቮᯏ䈫䈲⋥ធ㑐ଥ䈅䉍䉁䈞䉖䈏.. ᒛᚻ㗅2:ᄙ᭽ቇ⠌ᴺ䈱ㆡ↪ 䉫䊤䊐䉞䉦䊦䊝䊂䊦 p ( x(t 1) | x(t ), s ) N ( P st As x(t ), 6 ts ) ® o o ¯ p ( y (t ) | x(t ), s ) N ( P s Cs x(t ), 6 s ) 2 0 -1 0 1 -2 • GPDM[Wang05]䈱⚿ᨐ䈫㘃ૃ • ዪᚲ✢ᒻ䈭䈱䈪⸘▚㊂䈏ዋ䈇 • ᢛ䈮䉋䉍䇮ዪᚲ䊝䊂䊦䈱䈧䈭 䈑⋡䈏Ṗ䉌䈎 • േ䈱ಽ▵ൻ • ⇣Ᏹᆫ䈱ᬌ⍮ ᄢၞ⊛䈭⁁ᘒⓨ㑆 ¦ >log p( y (n), y (n)) D(q ( x) || p( x | y (n), y (n))@ n N n 1 k k n k k 䊕䊅䊦䊁䉞㗄䋺䇱䈱ᷙวಽᏓ䈱ᢛวᕈ䉕䈫䉎⚂ * CMUGraphicsLabMotionCaptureDatabase↪ 15 部分空間法研究会2010 ㆡ↪2:ⴡᤊA䊋䉾䊁䊥䊷⇣Ᏹ • ೨ㅀ䈱㔚Ḯ䉰䊑䉲䉴䊁䊛䋨EPS䋩䈱14ᄌᢙ䋨㔚ᵹ䇮 ᷷ᐲ╬䋩䈮ㆡ↪䋨ዪᚲ䊝䊂䊦ᢙ6,⁁ᘒᰴర5䋩 ⸠✵䋧䊁䉴䊃䊂䊷䉺 ౣ᭴ᚑ⺋Ꮕ 6.䈍䉒䉍䈮 䉮䊮䊘䊷䊈䊮䊃ᚲዻ⏕₸ p(s)ಽᏓᄌㆫ ⻢ㄉ ᧄ⊒䈱䉁䈫䉄 • ᧄ⊒䈪⚫䈚䈢⎇ⓥ䈲䇮એਅ䈱තᬺ↢䊶 ቇ↢䈫䈱หᚑᨐ䈪䈅䉍䇮ᧄ⾗ᢱ䈲ᓐ䉌䉋䉍 ឭଏ䈘䉏䈢⾗ᢱ䈮ၮ䈐䉁䈜 • ቝቮᯏ䊁䊧䊜䊃䊥䊂䊷䉺䈱⋙ⷞ䊶⇣Ᏹᬌ⍮䈮ኻ䈚 䈩䇮䋨ᐢ⟵䈱䋩ㇱಽⓨ㑆ᴺ䈲ല䈪䈅䉎 – ᴡේศિ᳁䋨䊶ᄢ㒋ᄢቇ䋩䋺䌛⎇ⓥ䋱䋬䋳䋬䋴䌝 – ⮮Ꮞㆯᐔ᳁䋨䊶NEC䋩䋺䌛⎇ⓥ䋲䌝 – ੇ⒤᳁䋨䊶ਃ⪉㔚ᯏ䋩䋺䌛⎇ⓥ䋱䌝 – ↲㇢᳁䋨᧲ᄢ㒮䊶ୃ჻⺖⒟䋲ᐕ䋩䋺䌛⎇ⓥ䋴䌝 • ౣ᭴ᚑ䊂䊷䉺䈲⇣Ᏹේ࿃䈱⸃ᨆ䈮↪䈭ᖱႎ 䉕ឭଏ䈜䉎 • 䉲䉴䊁䊛䉻䉟䊅䊚䉪䉴䉕⠨ᘦ䈜䉎䈪䇮䇸䉅䈉৻䈧 䈱䇹ㇱಽⓨ㑆ᴺ䈪䈅䉎䇸ㇱಽⓨ㑆หቯᴺ䇹䈫䈱 Ⲣว䈏ല䈪䈅䉎 • ⾆㊀䈭ⴡᤊ䊂䊷䉺䉕ឭଏ䈚䈩ਅ䈘䈦䈢JAXA䈮ᗵ ⻢䈚䉁䈜 • 䈭䈍䇮ᧄ⊒䈪⚫䈚䈢ቝቮᯏ䈻䈱ㆡ↪䈲䇮ㆊ 䈱ⴡᤊ䊂䊷䉺䇮䉲䊚䊠䊧䊷䉲䊢䊮䊂䊷䉺䉕↪䈚䈢ᓟ ⸃ᨆ䈪䈅䉍䇮ታ㓙䈱ቝቮ䊚䉾䉲䊢䊮䈪䊥䉝䊦䉺䉟䊛䈮 ⴕ䈦䈢䉅䈱䈪䈲䈅䉍䉁䈞䉖 16 部分空間法研究会2010 ౝኈ ㇱಽⓨ㑆ᴺࠍ↪ߚࡕ࠻ࡦࠪࡦࠣ ↹ߩⵍⷒಽ㘃 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 Subspace method in remote sensing data land cover classification ࡂࠬࡃࠟࡦ (Hasi Bagan) ࿖┙ⅣႺ⎇ⓥᚲ ⅣႺ⎇ⓥࡦ࠲ ┻ౝᷤ ᧲੩ᄢቇ ↢↥ᛛⴚ⎇ⓥᚲ ጊᒻਈᔒ᮸ 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 ࿖┙ⅣႺ⎇ⓥᚲ ⅣႺ⎇ⓥࡦ࠲ Subspace 2010 July 26, 2010, Kushiro, Hokkaido 1 2 ౝኈ 1996ᐕ ጊᒻਈᔒ᮸ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࡞ಽ⸃ ㊖〝Ḩේߢޔ288࠴ࡖࡦࡀ࡞ߩ⥶ⓨᯏ㜞ᰴరCASI↹ࠍߞߡޔḨ ේᬀ↢ߩࡒࠢ࡞ಽ⸃ߦᚑഞߒߚޕ 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 2006ᐕ ᣂᐽᐔ ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࡞ಽ⸃ ቇ⠌ㇱಽⓨ㑆ᴺࠍࡒࠢ࡞ಽ⸃߳ᔕ↪ߒߚޕ 2008ᐕ ㇱಽⓨ㑆ᴺߦࠃࠆⵍⷒಽ㘃 ⥶ⓨᯏࡂࠗࡄࠬࡍࠢ࠻࡞↹㧔48ࡃࡦ࠼ߣ191ࡃࡦ࠼㧕ࠍߞߡޔ ⵍⷒಽ㘃ߢߩലᕈࠍ⏕ޕ ⵍⷒಽ㘃ߢߩലᕈࠍ⏕ 2009ᐕ ㇱಽⓨ㑆ᴺߩࡄࡔ࠲ㆬᛯ 㜞ᰴర↹ಽ㘃ߢޔㇱಽⓨ㑆ߩᰴరᢙߣࡄࡔ࠲ࠍㆡᒰߦㆬᛯߔ 㜞ᰴర↹ಽ㘃ߢ ㇱಽⓨ㑆ߩᰴరᢙߣࡄࡔ ࠲ࠍㆡᒰߦㆬᛯߔ ࠇ߫ࠍ࡞ࡊࡦࠨ↪✵⸠ޔቢోߦ⼂ߢ߈ࠆࠍࠄ߆ߦߒߚޕ 2010ᐕ ᐕ ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹ಽ㘃 ⴡ ↹ಽ㘃 TM, ASTER╬ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹ಽ㘃ߦᒛߒߚⶄޔߦᦝޕ ว㘃ૃᐲᴺ(MSM)ߣㇱಽⓨ㑆ᴺࠍ⚵ߺวࠊߖߚᚻᴺࠍឭ᩺ߒߚޕ 3 4 ౝኈ ㇱಽⓨ㑆ᴺߩಽ㘃ࠬ࠹࠶ࡊ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 㪌㪅 㪍 㪍㪅 ¾ ࠻࠾ࡦࠣࠨࡦࡊ࡞ࠍㆬ߱ ࠻ ࠨ ࠍㆬ 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ 㪧㫆㫃㪸㫉㫀㫄㪼㫋㫉㫀㪺 㪧㪘㪣㪪㪘㪩↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 ¾ ࠢࠬߩㇱಽⓨ㑆ࠍࠆ ¾ ↹ࡇࠢ࡞ߩᓇࠍ⸘▚ ¾ ಽ㘃࿑ࠍߔ x Select Training Generate Projection training Subspace for samples for each class eachh class l 5 900 ( i) P x Map o L(i ) 6 17 部分空間法研究会2010 ࡗࠦࡆᣇᴺߢ࿕୯߮࿕ࡌࠢ࠻࡞ࠍ⸘▚ ࡃ ࠼ ⴡᤊ↹ ࡃࡦ࠼TMⴡᤊ↹ߩ ታኻ⒓ⴕ නⴕ ᳓㧘⍾Ṽ㧘ᬀ↢㧘⨲㧘ߩ⒳㘃ߩⵍⷒࠢࠬࠍ⸳⸘ߒ ߡޔฦࠢࠬߏߣߦ50ࡇࠢ࡞ߩࠨࡦࡊ࡞ࠍㆬ߱ ೋᦼ ᬀ↢ࠍߣߒߡ⋧⥄ߩ࡞ࡊࡦࠨޔ㑐ⴕࠍ⸘▚ ࿁⋡ߢ㧘㕖ኻⷺߩ୯߇ߦචಽㄭઃߚߩߢޔᓴⅣࠍᱛ ࠨࡦࡊ࡞ࡇࠢ࡞1ߩDN୯ ࿁ ……… ….. 1 u 50 X …………………………… (6, 50) ࿕୯ ࿕䊔䉪䊃䊦 (50, 6) ࿕୯ࠍ㒠㗅ߢਗߴࠆ㧦 㪔 ^V ` ኻᔕߒߚ࿕ ࡌࠢ࠻࡞ ታኻ⒓⥄⋧㑐ⴕ i, j ㇱಽⓨ㑆ࠍࠆ (6 6) (6, 7 8 ^V `ߩ೨ߩnߩ࿕ࡌࠢ࠻࡞ߢޔㇱಽⓨ㑆ࠍࠆ ߩ೨ߩnߩ࿕ࡌࠢ࠻࡞ߢ ㇱಽⓨ㑆ࠍࠆ ㇱಽⓨ㑆ᴺߩᒛ㧦ᐔဋቇ⠌ㇱಽⓨ㑆ᴺ i, j ^V i, j Averaged Learning Subspace Method: ALSM ` j 1, , n ( n d ) 1 S 0( i ) ࿕ࡌࠢ࠻࡞ Vi , j ߢޔi ߪࠢࠬߩ⇟ภޔjߪiࠢࠬߩj⇟⋡ߩࡌࠢ j j ࠻࡞㧧dߪࡌࠢ࠻࡞ⓨ㑆ߩᰴరߢࡃࡦ࠼ᢙߣ╬ߒޕ ࡇࠢ࡞xߩᓇࠍ⸘▚ޔಽ㘃࿑ࠍᚑ ¦[x Vi , j ] , i 1,2, , c S k(i ) S k(i)1 D ¦x x E T m m xm A j ¦x x T n n xn Bi 㓸วAiߪࠢࠬ Zߩࠨࡦࡊ࡞ߪޔ ߩࠨࡦࡊ࡞ߪ ߩࠢࠬߦ⺋ಽ㘃ߐࠇߚࠨࡦࡊ࡞ߩ㓸วߢ i ࠆ ޕ㧮iߪ Zi ߦ⺋ಽ㘃ߐࠇߚߩࠢࠬߩࠨࡦࡊ࡞ߩ㓸วߢࠆޕ n f i ( x) T ㇱಽⓨ㑆ߩᰴరᢙnࠍ࿕ቯߔࠆޕnߩਥⷐ࿕୯ߦኻᔕߔࠆ࿕ࡌࠢ࠻ ࡞ࠍㇱಽⓨ㑆ߩၮᐩߣߔࠆޕ 2 T ¦ xx xZ ( i ) 2 3 ㇱಽⓨ㑆ߩ࿁ォ㧦೨ߦ⸳ቯߒߚ⚳ੌ᧦ઙߦ㆐ߔࠆ߹ߢߣࠍ➅ࠅߔߎޕ ࠇߦࠃߞߡޔㇱಽⓨ㑆ߩ㊀ߥࠅࠍᷫࠄߒߡޔಽ㘃♖ᐲࠍᡷༀߢ߈ࠆޕ j 1 ߎߩᑼߪᓇߩᐔᣇࠍᓧࠄࠇ߹ߔ߇▚⸘ޔㅦᐲࠍ⠨ᘦߒࠣࡠࡊޔ ࡓߢᓇߩᦧࠊࠅߦᓇߩᐔᣇࠍ߁ ࡓߢᓇߩᦧࠊࠅߦᓇߩᐔᣇࠍ߁ޕ 9 10 ౝኈ %⸒⺆ߢࠦ࠼ൻߒ◲ޔනߦᒛߢ߈ࠆ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 11 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 12 18 部分空間法研究会2010 ࡂࠗࡄࠬࡍࠢ࠻࡞↹ߪᬀ‛ࠍߢ߈ࠆ ⥶ⓨᯏࡂࠗࡄࠬࡍࠢ࠻࡞↹ ᬀ‛ߩࠬࡍࠢ࠻࡞₸ᦛ✢ 2006ᐕ7-8ޔౝࡕࡦࠧ࡞ߩ⨲ේߣ⍾Ṽߢߩ᷹㊂ (Source: CGER, NIES) 13 14 (ޠ⽎ߩ࠭ࡘࡅޟHughes ߩ⽎(ޠHughes phenomenon ) ᰴరᢙࠍᷫࠄߒߡಽ㘃ߔࠆᚻᴺ߇ឭ᩺ߐࠇߡ ࠆ ᰴరᢙࠍᷫࠄߒߡಽ㘃ߔࠆᚻᴺ߇ឭ᩺ߐࠇߡࠆ 㧔ޟᰴరߩ (curse of dimensionality)ޠ㧕 1 Principal components analysis (PCA) with conventional 1. classification methods Classifiication a accuracy y (%) 90 80 2 Spectral 2. S t l angle l mapper and d spectral t l information i f ti divergence methodsmathematical morphology-based classification methods 70 Hughes g p phenomenon 60 50 3. Feature selection and feature extraction methods 40 4. Cluster and hierarchical classification methods 30 20 0 5 10 15 20 25 30 35 40 Number of Bands (Features) 15 16 Case study 1 ߎࠇࠄߩᚻᴺߩ․ᓽ CASI 2 ࠗࡄ ࠬࡍࠢ࠻࡞↹ ⨹Ꮉ✚วㆇേ 2003ᐕ CASI-2ࡂࠗࡄࠬࡍࠢ࠻࡞↹⨹ޔᎹ✚วㆇേ㧘2003ᐕ 㧕↹ߩᰴరࠍᷫޔㆡᒰߥૐᰴరࠍ᭴ᚑߔࠆ 㧕ઁߩಽ㘃ᣇᴺߢ↹ࠍಽ㘃ߔࠆ ᰳὐ ᣂߚߥૐᰴరࠍ᭴ᚑߔࠆߚߦᄢߦ⸘▚ᤨ㑆ࠍⷐߔ ࠆߚ߹ޕಽ㘃ᚻᴺߦࠃߞߡ⚿ᨐ߇⦟ߊߥ႐ว߇ࠆޕ ㇱಽⓨ㑆ᴺ ᰴరᷫߣಽ㘃ࠍหᤨߦታⴕߔࠆ▚⸘ޕㅦᐲ߇ᣧߊޔ ಽ㘃♖ᐲ߽㜞ޕ ಽ㘃♖ᐲ߽㜞 (Hasi Bagan et al, IEEE GRSL., 2008) 17 19 18 部分空間法研究会2010 CASI-2ర↹㧔Ꮐ㧕ޔㇱಽⓨ㑆ಽ㘃࿑㧔ਛ㧕ߣࠨࡐ࠻ࡌࠢ ࠲ࡑࠪࡦ(Support Vector Machine:SVM)ಽ㘃࿑㧔ฝ㧕ߩᲧセ ALSMᣇᴺߢಽ㘃 ࠻࠾ࡦࠣ࠺࠲߇ቢోߦ⼂ߐࠇߚߩઁޕಽ㘃ᚻᴺ 㔍 ޕ ߢߪ㔍ߒޕ C1 96% 89% C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 unclassified ㇱಽⓨ㑆ᴺ CASI-2 19 (RGB = 664, 561, and 470 nm) Case study 2 SVM 20 ࠺࠲ߩⷙᩰൻߣㇱಽⓨ㑆ߩᰴర ᰴరⷙޔᩰൻᣇᴺޔቇ⠌ࡄࡔ࠲ߩᓇ㗀ޕ224ࡃࡦ࠼ AVIRIS “Indian Pine” data sets (Purdue University)ࠍ߁ޕ ⷙᩰൻ㧦ࡇࠢ࡞s = (s1, s2, …, sn)Tࠍᱜⷙൻߒߡ㐳ߐࠍ1ߦߔࠆߎߣޕ [[0,, 1]] ⷙᩰൻ sc ( s1 / d , s 2 / d , , s i / d ) T ߎߎߢޔd = sqrt(s q ( 12+ s22+…+ sn2) [-1, 1] ⷙᩰൻ § · n si m ¨¨ ¦ si m 2 ¸¸ sic ©i 1 1 n ߎߎߢ ޔm n ¦ si i 1 0.5 ¹ ㇱಽⓨ㑆䈱ᰴర B d 16 (548 nm)) Band ࿕ቯᰴర㧦ోߡߩㇱಽⓨ㑆߇หߓᰴరࠍขࠆߎߣ T i i andd test Training t t data d t ࠳ࠗ࠽ࡒ࠶ࠢᰴర㧦ㇱಽⓨ㑆߇ߦ㆑߁ᰴరࠍขࠆߎߣ C1 C2 C3 C4 C5 C6 C7 C8 ⑳ߚߜߩታ㛎ߢޔ࿕ቯᰴరߩᣇ߇ࡕ ⑳ߚߜߩታ㛎ߢ ࿕ቯᰴరߩᣇ߇ࡕ࠻ࡦࠪࡦࠣಽ㘃ߢ♖ᐲ߇ ࠻ࡦࠪࡦࠣಽ㘃ߢ♖ᐲ߇ 㜞ߩߢޔ࿕ቯᰴరߛߌࠍ߁ޕ C9 C10 C11 C12 C13 C14 C15 C16 21 22 (Hasi Bagan et al, Sensors, 2009) ቇ⠌ࡄࡔ࠲ߩᏅߩᓇ㗀 ㇱಽⓨ㑆ߩᰴరߩᓇ㗀 ¾ ቇ⠌ࡄࡔ࠲ࠍ ߩᱠวߢჇടޕ ቇ⠌ࡄࡔ࠲ߩᏅ㧦DгE Pk(i , j ) ¦ ^s Pk(i ) Pk(i )1 D T i ,l si ,l si ,l Z (i ) , si ,l Z ( j ) si ,l ¦P (i , j ) k j zi E ` ¾ ࿕ቯᰴర߇ ߩᤨ ♖ᐲ߇㜞 ߩᤨ♖ޔᐲ߇㜞ޕ ¦P ( j ,i ) k j zi ¾ ᰴరᢙ߇ᄢ߈ߊߥࠆ ߶ߤ ᧤㗔ၞߪᐢ ߶ߤޔ᧤㗔ၞߪᐢ ߊߥࠆޔ߫߃ޕ ቇ⠌ ࡔ ࠲ߩᏅ߇ዊ ቇ⠌ࡄࡔ࠲ߩᏅ߇ዊ ߐߊߥࠆ߶ߤಽ㘃♖ᐲ߇ 㜞ߊߥࠆޕ D5: [0.27, 0.45] D9: [0.03, 0.81] ቇ⠌ࡄࡔ࠲ߩᏅ߇ዊ ߐߊߥࠆ߶ߤోߡߩ࠻ ࠾ࡦࠣ࠺࠲ࠍ⼂ ߔࠆߚߩᦨᄢᓴⅣ࿁ᢙ ߪዋߥߊߥࠆޕ ¾ ᰴరᢙ߇ᄢ߈ߊߥࠆ ᰴరᢙ ᄢ߈ߊߥࠆ ߶ߤᦨޔᄢᓴⅣ࿁ᢙ ߪዋߊߥࠆޕ 23 24 (Hasi Bagan et al, Sensors, 2009) 20 部分空間法研究会2010 ࠻࠾ࡦࠣ࠺࠲ᢙߩᓇ㗀 D6, D E 0.51ߩᤨޔಽ㘃⚿ᨐ࿑ߣ♖ᐲ⹏ଔ 50%ߩ࠻࠾ࡦ ࠣ࠺࠲ߢቇ⠌ߒ ߡ࠻ ࠹ߩߡోޔ ߡ࠻ࠬ࠹ߩߡోޔ ࠺࠲ߢᬌ⸽ߔࠆޕ ో࠺࠲↪ᤨߣ ో࠺ ࠲↪ᤨߣ หߓะ߇߃ࠆޕ ᦝߦޔᰴర߇ᄢ߈ ߊߥࠆ߶ߤ✵⸠ޔ ᤨ㑆߇⍴ߊߥࠆޕ C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 C13 C14 C15 C16 U ’ accuracy ffor lland-cover User’s d class l i: i p jj PPAj Producer’s accuracy for land-cover class j: PUAi p ii p j p i [pij]n㬍n is a confusion matrix, pij is the number of pixels in mapped land cover class i and reference land cover j; n p i ¦ p ij is the number of pixels in mapped land cover class i; p ij is the true number of pixels in land cover class j. j 1 n 25 p j ¦ i 1 26 Case study 1 ౝኈ 㧣ࡃࡦ࠼ߩLandsat 㧣ࡃࡦ࠼ߩL d t ETM+ ߦኻߔࠆಽ㘃ታ㛎ޕ ߦኻߔࠆಽ㘃ታ㛎 20012001 2002ᐕߦ㑐᧲ᣇߢᓇߐࠇߚਃߟߩ↹ࠍ↪ߒߚޕ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 27 28 ㇱಽⓨ㑆ߦࠃࠆⵍⷒಽ㘃࿑ ⴡᤊߦࠃࠆዬ vs. ੱญ⛔⸘࠺࠲ unclassified forest urban/build up urban/build-up paddy cropland g grassland golf-course water ETM ⵍⷒಽ㘃࿑ߦࠃࠆዬ 1 Km2 ࡔ࠶ࠪࡘ2005ᐕੱญ⛔⸘࠺࠲ bare soil ⵍⷒಽ㘃♖ᐲ86㧑 29 30 21 部分空間法研究会2010 ੱญỗჇ Case study 2 ኻ⽎ၞߣ࠺ ࠲࠶࠻ ኻ⽎ၞߣ࠺࠲࠶࠻ 1975 ㄘჇട ᳓㕙ၞᷫዋ 1987 (䋪: SOMಽ㘃) 1999 31 2007 Water Tree (Hasi Bagan et al, IEEE JSTARS., 2010) ᤨ♽ⵍⷒ࿑ߩᄢ࿑ (a) 1975, (b) 1987, (c) 1999, and (d) 2007 *:ᢥ₂[7] Crop Sandy Sparse Grass Urban Bare Wetland 32 ⠹㐿ნ౮⌀: (a) Cropland along a river bank, (b) grassland converted to cropland, (c) and (d) cropland opened in areas of sandy dunes. ᢥ₂[7]䋬࿑4ෳᾖ [ ] (a) (b) (c) 33 (d) 34 ㇱಽⓨ㑆ᴺߩᡷ⦟ ᦝߦᦨޔㆡߥࡄࡔ࠲ࠍ⥄േߢㆬᛯߔࠆᓴⅣ⸘▚ࠍዉߒߡޔᑼ ࡇࠢ࡞xߩᓇࠍ⸘▚ߔࠆᤨޔᑼ n f i ( x) ¦[x T Vi , j ] 2 S k(i ) j 1 S k(i)1 D ¦x x E T m m xm A j ¦x x T n n xn Bi ߩઍࠊࠅߦ ޔMSM ᚻᴺࠍᒛߒߚਅߩᑼࠍ߁ ¦O n g i ( x) ( j) i / O(i1) U g i ( x) j 1 = 0 ߩᤨCLAFICᴺޔ ߩᤨCLAFICᴺ ¦O n [ x T Vi , j ] 2 ( j) i / O(i1) U [ x T Vi , j ] 2 j 1 = 1 ߩᤨⶄว㘃ૃᐲᴺ(MSM) ߣߥࠆ ߩᦨㆡߥDޔEߣ ࠍ⥄േ⊛ߦㆬࠎߢ↹ޔࠍಽ㘃ߔࠆߣޔಽ㘃♖ᐲࠍ ᦝߦะߢ߈ࠆޕᡷༀߒߚㇱಽⓨ㑆ᴺߪࠍ࠲ࡔࡄޔᚻߢ⺞ᢛߔࠆ ᚻ㑆ࠍ⋭߈ޔቢో⥄േൻࠍታߒߚޕ 1 ਥߥ⸘▚ߪౝⓍ⸘▚ߢࠅ 1. ਥߥ⸘▚ߪౝⓍ⸘▚ߢࠅޔ7ࡃࡦ࠼ߩTMߦኻߒߡ✵⸠ޔಽ㘃 7ࡃࡦ࠼ߩTMߦኻߒߡ ⸠✵ಽ㘃 ߩㅦᐲ߇ㅦ 2. ᦨᣂߩ࿕୯ߣ࿕ࡌࠢ࠻࡞⸘▚ᚻᴺࠍ߃߽߫ߞߣᣧߊ⸘▚ߢ ߈ࠆ 3. ಽ㘃♖ᐲ߇ᣢሽߩಽ㘃ᚻᴺߣ┹ߢ߈ࠆಽ㘃ᣇᴺߢࠆ 35 36 (Hasi Bagan & Yoshiki Yamagata, PERS., 2010, in press) 22 部分空間法研究会2010 Case study 3 ౝኈ ㇱಽⓨ㑆ᴺಽ㘃 ࿑ߢߣࠬࠢޔ ࠢࠬߩႺ⇇✢ ߪߪߞ߈ࠅߒߡ ࠆޕ ᢥ₂[8] Pl t 5ෳᾖ ᢥ₂[8]䋬Plate5ෳᾖ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 ࠨࡐ࠻ࡌࠢ ࠲ࡑࠪࡦ 㧔SVM㧕ߣᦨ ዕᴺ㧔MLC㧕 ಽ㘃࿑ߣᲧߴࠆ ߣޔㇱಽⓨ㑆ᴺ ߪࠃࠅᱜߒߊಽ 㘃⚿ᨐࠍᓧߡ 㘃⚿ᨐࠍᓧ ࠆߎߣࠍ⏕ߢ ߈ࠆޕ 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 37 38 2010-03-25 ALOS PALSAR L1.1: HH, HV, VH, VV PALSAR ⵍⷒಽ㘃࿑ 4ᵄ(HH+HV+VH+VV) + 33C h 33Coherencyⴕ<T3> ⴕ T3 <T3>㧦 ᵄߩੑᰴ⛔⸘㊂ࠍⷐ⚛ ߣߒߡޔᵄߩᢔੂࡔࠞ ޔ ࠾࠭ࡓࠍߢ߈ࠆޕ Banjarmasin ᝄߩ㧠ࡃࡦ࠼ߣ<T3>ߩ9 ⷐ⚛ࠍวࠊߖ߫ޔᖱႎ㊂ ߇Ⴧ߃ ಽ㘃♖ᐲࠍᡷༀ ߇Ⴧ߃ޔಽ㘃♖ᐲࠍᡷༀ ߢ߈ࠆޕ PALSAR L Levell 11.1ࡐࡔ࠻ 1ࡐࡔ࠻ ࡕ࠼ߢޔᵄߩ⋧ ᝄࠍߔߚ⚛ⶄޔᢙߢ ߒߡࠆ 39 No-value Forest Water Urban Crop Veget-1 Veget-2 2010-03-25 (RGB=HH, VH,VV) 40 ౝኈ ⚿⺰ 㪈㪅 㪈 㪉㪅 㪊 㪊㪅 㪋㪅 5. 㪍 㪍㪅 䊥䊝䊷䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ 䊥䊝 䊃䉶䊮䉲䊮䉫䈮䈍䈔䉎ᔕ↪䈫⁁ ㇱಽⓨ㑆ᴺ䈮䉋䉎ⵍⷒಽ㘃䈱⚵䉂 䊊䉟䊌䊷䉴䊕䉪䊃䊦↹䈻䈱ᔕ↪ 䉟䊌 䉴䊕䉪䊃䊦↹ 䈱ᔕ↪ 䊙䊦䉼䉴䊕䉪䊃䊦ⴡᤊ↹䈻䈱ᔕ↪ Polarimetric PALSAR↹䈻䈱ᔕ↪ ⚿⺰䈫ᓟ䈱⺖㗴 1 ᭽ࡕߥޘ 1. ᭽↹ࠣࡦࠪࡦ࠻ࡕߥޘࠍಽ㘃᧪ࠆ ࠻ࡦࠪࡦࠣ↹ࠍಽ㘃᧪ࠆ ࡂࠗࡄࠬࡍࠢ࠻࡞↹ ࡑ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹ ࡞࠴ࠬࡍࠢ࠻࡞ⴡᤊ↹ Polarimetric PALSARⴡᤊ↹ 2. ಽ㘃ߩ⚵ߺ߇⍎ߢ◲ޔනߦታⴕߢ߈ࠆ ࿕୯ߣ࿕ ࿕୯ߣ࿕ࡌࠢ࠻࡞ߢㇱಽⓨ㑆ࠍ᭴ᚑ ࠻ ㇱಽⓨ㑆ࠍ᭴ᚑ ⸘▚ߪⴕᑼߩ⸘▚ߣౝⓍ⸘▚ ಽ㘃ߪߩ࡞ࠢࡇޔᓇ୯ࠍ᳞ࠆߛߌ 41 42 23 部分空間法研究会2010 ෳ⠨ᢥ₂ ᓟߩ⺖㗴 Erkki Oji. ࡄ࠲ࡦ⼂ߣㇱಽⓨ㑆ᴺ (ᣣᧄ⺆ ). ↥ᬺ࿑ᦠ㧘1984. ⍹ஜ৻㇢㧘↰ୃഞ㧘೨↰⧷㧘ἑᵗ. ࠊ߆ࠅ߿ߔࡄ࠲ࡦ⼂. ࠝࡓ ዪ㧘1998. ጊᒻਈᔒ᮸. ㇱಽⓨ㑆ᴺߦࠃࠆࡒࠢ࡞ಽ⸃ߣᄙᵄ㐳↹߳ߩᔕ↪. ౮⌀᷹㊂ߣࡕ࠼ࡦࠪࡦࠣ. vol.35, N 3 pp.34-42, No.3, 34 42 1996. 1996 4. ᣂᐽᐔޔ㒸 ⪇ᘢ. ቇ⠌ㇱಽⓨ㑆ᴺߦၮߠߊࡂࠗࡄࠬࡍࠢ࠻࡞࠺࠲ߩ ࠞ࠹ࠧಽ⸃.ᣣᧄ౮⌀᷹㊂ቇળ. vol.45, No.5, 2006. 5. Hasi Hasi Bagan, Yoshifumi Yasuoka, Takahiro Endo, Xiaohui Wang, Zhaosheng Feng, “Classification of Airborne Hyperspectral Data Based on the Average Learning Subspace Method Method”, IEEE Geoscience and Remote Sensing Letters, Letters vol. vol 5, 5 No. 3, pp.368-372, Jul. 2008. 6. Hasi Bagan, Wataru Takeuchi, Yoshiki Yamagata, Xiaohui Wang, Yoshifumi Yasuoka. “Extended Averaged Learning Subspace Method for Hyperspectral Data Classification”, Sensors, vol. 9, No. 6, pp. 4247-4270, Jun. 2009. g , Wataru Takeuchi,, Tsuguki g Kinoshita,, Yuhai Bao,, Yoshiki Yamagata. g “Land Cover Classification and Change g 7. Hasi Bagan, Analysis in the Horqin Sandy Land From 1975 to 2007”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 3, No. 2, pp.168-177. Jun. 2010. 8. Hasi Bagan, Yoshiki Yamagata, “Improved subspace classification method for multispectral remote sensing image classification”, Photogrammetric Engineering and Remote Sensing, in press. 9. ᐢ㧘ㇱಽⓨ㑆ᴺߩᤄ㧔߹߆ߒ㧕㧔ਅ㧕: ᐢ ㇱಽⓨ㑆ᴺ ᤄ㧔 ߹߆ߒ㧕㧔ਅ㧕 ᦨㄭߩᛛⴚേะ㧦⋧ㇱಽⓨ㑆ᴺ߳ߩᒛߣߘߩᔕ↪㧚 ᦨㄭ ᛛⴚേะ ⋧ㇱಽⓨ㑆ᴺ ᒛߣߘ ᔕ↪ ᖱႎಣℂ㧘vol.49, No.5, pp.680-685, 2008 10. ဈ㊁㍈㧘ᱞᎹ⋥᮸㧘ਛᄥ৻㧘ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺߦࠃࠆ‛⼂㧚㔚ሶᖱႎㅢାቇળ⺰ᢥD. vol.J84-D2 , No.8, pp.1549-1556, 2001 11 Scholkopf, 11. Scholkopf B.; B ; Smola, Smola A.; A ; Muller, Muller K K.R. R “Nonlinear Nonlinear component analysis as a kernel eigenvalue problem problem”, Neural Computation, vol. 10, No. 5, pp. 1299-1319, Jul. 1998. 12. Washizawa, Y.; Yamashita, Y. “Kernel projection classifiers with suppressing features of other classes”, Neural Computation, vol.18, No. 8, pp. 1932–1950, Aug. 2006. 1. 2. 3. ࠞࡀ࡞ࠍ↪ߚ㕖✢ᒻ⼂ᚻᴺࠍዉߔࠆ ࠞ ࡀ࡞ࠍ↪ߚ㕖✢ᒻ⼂ᚻᴺࠍዉߔࠆ ࠞࡀ࡞ਥᚑಽಽᨆ╬ ࡄ࠲ࡦ⼂ಽ㊁ߢߩᣂ⊒ࠍዉߔࠆ ⋧ㇱಽⓨ㑆ᴺ╬ ⶄ⚛ᢙ⸘▚ߦኻᔕߢ߈ࠆㇱಽⓨ㑆ᚻᴺࠍ㐿⊒ߔࠆ ALOS PALSARߩࡐࡔ࠻ࡕ࠼ߩ࠺࠲ ߪᵄ ⋧ ᝄࠍߔ ߪᵄߩ⋧ᝄࠍߔߎߣ߇ߢ߈ࠆⶄ⚛ᢙ ߈ࠆⶄ⚛ᢙ ࠲ࠗࡊࠍߞߡࠆ 43 44 24 部分空間法研究会2010 チュートリアルの狙い • Eingang: 使ってみよう!部分空間法 -Eingang AusgangIntroduction • Ausgang: ExitとOutputの両方の意味で用いられる独逸語 – 河原:相互部分空間法 – 坂野:非線形部分空間法 – 具体的な問題にあたっている研究者が対象.基本的 にはこれらの技術の紹介.部分空間法を使ってもらう. Eingang:堀田政二,河原智一,坂野鋭 Ausgang:河原智一,坂野鋭,堀田政二 謝辞 タイムテーブル • • • • • Entrance と Input の両方の意味で用いられる独逸語. – 堀田,et al. 「使ってみよう部分空間法 -部分空間法 体験実習-」を改良. – B4, M1くらいを対象.Lagrangeの未定係数法も解説 するぞ!という勢い 部分空間法を理解してもらう するぞ!という勢い.部分空間法を理解してもらう. 11:20-12:00:堀田 部分空間法入門. 12:00-13:00:昼食*. 13:00-13:25:河原 相互部分空間法. 13:25 13:50:坂野 非線形部分空間法. 13:25-13:50:坂野 非線形部分空間法 13:50-14:00:堀田 MATLABスクリプト説明. • 本チュートリアル作成に当たりお世話になった 皆様に感謝します.筑波大学の大川泰弘さん には,相互部分空間法,非線型相互部分空 間法など 多くの貴重なプログラムを提供して いただきました.NTT CS研の同僚諸氏からは いくつかの数学的問題についてご教示頂きま した. *昼食時間中も講演者は会場におりますので 秘密の質問など歓迎です. 25 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 目的と内容 目的と内容 パターン認識法の一つである部分空間法 (CLAFIC) を理解することを目 的とし,そのために必要な以下の内容について解説する: 使ってみよう部分空間法! - eingang - 数学的準備 (ベクトルによる偏微分,ラグランジュ乗数法) 堀田政二 (東京農工大学) 河原智一 (東芝) 坂野鋭 (NTT) 部分空間法 (CLAFIC の直感的な理解.相互部分空間法,非線型部 分空間法への橋渡し) 部分空間法研究会 2010 MATLAB/Octave を用いた手書き数字パターン認識の実験 2010 年 7 月 26 日 本講演で使用するプログラムは以下のページからダウンロード可能: http://www.tuat.ac.jp/∼s-hotta/ss2010 (1) (2) 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 線型部分空間 線型部分空間 線型部分空間とはなんですか? 1/3 線型部分空間とはなんですか? 1/3 これは部分空間ですか? [1] これは部分空間ですか? [1] 0 0 これは空間の一部分で “部分空間” ではない これは空間の一部分で “部分空間” ではない 英語では subspace.sub は (身分や質が) 下,下位等の意味 ( ⇐⇒ super) 英語では subspace.sub は (身分や質が) 下,下位等の意味 ( ⇐⇒ super) もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空 間 (上の図では 2,1,0 次元) もとの空間よりも次元数 (空間に置ける座標軸の本数) が小さい空 間 (上の図では 2,1,0 次元) (3) 部分空間法研究会 2010 (4) 部分空間法研究会 2010 数学的準備 数学的準備 線型部分空間 線型部分空間 線型部分空間とはなんですか? 2/3 線型部分空間とはなんですか? 2/3 どれが線型部分空間ですか? どれが線型部分空間ですか? 㽳 㽳 㽲 㽲 0 0 㽴 1 が正解 足し算・引き算・スカラー倍が可能な集合 㽴 1 が正解 足し算・引き算・スカラー倍が可能な集合 (5) 26 (6) 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 線型部分空間 内積とノルム 線型部分空間とはなんですか? 3/3 ✢ဳㇱಽⓨ㑆䈪䈭䈔䉏䈳 ห䈛⋥✢䈮ሽ䈜䉎ὐห჻䈱 ⿷䈚▚䊶ᒁ䈐▚䊶䉴䉦䊤䊷䈏 ห䈛⋥✢䈮䈱䉌䈭䈇 内積とノルム 本講演ではパターンを d 次元の縦実ベクトルで表現: ⎛ ⎞ x1 ⎜ ⎟ x = ⎝ ... ⎠ , x = (x1 , ..., xd ) xd 㽳 㽲 1 内積の例: d x x = i=1 x2i =x2 √ x のノルム: x = x x 0 2 と 3 は点同士の足し算,スカラー倍が外に飛び出す 2 は集合上の任意の点を独自の原点と定めれば線型部分空間 のように扱える (affine subspace, linear manifold, linear variety) 二つのベクトルのなす角度: x y cos θ = xy ඨᓘ1 n + 1 次元空間における n 次元単位球面 正規化されたパターン同士の : ユークリッド距離 2 x y − = 2(1 − cos θ) x y (7) 部分空間法研究会 2010 (n ≥ 3 のとき超球面と呼ぶ) (8) 部分空間法研究会 2010 数学的準備 数学的準備 部分空間への正射影 ベクトルによる偏微分 部分空間への正射影 ベクトルによる偏微分 r 次元線型部分空間を張る d 次元正規直交ベクトルを u1 , u2 , ..., ur と し,それらを並べた d × r の行列 (部分等長行列) を U = (u1 |u2 | · · · |ur ) とする (U U = I) ∂ ∂x は x に関する偏微分を表し,その第 i 成分が x ∂ = ∂x c2 u1 u2 ∂ ∂ ··· ∂x1 ∂xd ∂ ∂xi となるベクトル d 例 (1):内積 f = x x = i=1 x2i を x で偏微分すると ∂f ∂f ∂ = (2x1 · · · 2xd ) = 2x ∂x f = ∇f = ∂x1 · · · ∂xd ~ x 0 c1 例 (2):d × d の対称行列を A としたとき,二次形式 f = x Ax を ∂ x で偏微分すると ∂x f = 2Ax 例 (3):双一次形式 f = x Ay を x で偏微分すると Rr での x̃ の座標:c = U x = (u 1 x|u2 x| · · · |ur x) ∂ ∂x f = Ay R での x̃ の座標:x̃ = Uc = UU x (x の U による展開) d UU は直交射影行列と呼ばれる (9) (10) 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 それぞれどのような意味でしょうか? それぞれどのような意味でしょうか? max f (x) f (x) の最大値 max f (x) f (x) の最大値 max f (x) max f (x) x=1 x=1 argmax f (x) argmax f (x) f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある max f (x), s.t. · · · max f (x), s.t. · · · x = 1 を満たす x が与える f (x) の最大値 x = 1 を満たす x が与える f (x) の最大値 x x x x x x に関する制約条件下での f (x) の最大値 x x に関する制約条件下での f (x) の最大値 (11) 27 (12) 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 それぞれどのような意味でしょうか? それぞれどのような意味でしょうか? max f (x) f (x) の最大値 max f (x) f (x) の最大値 max f (x) max f (x) x=1 x=1 argmax f (x) argmax f (x) f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある max f (x), s.t. · · · max f (x), s.t. · · · x = 1 を満たす x が与える f (x) の最大値 x = 1 を満たす x が与える f (x) の最大値 x x x x x x に関する制約条件下での f (x) の最大値 x x に関する制約条件下での f (x) の最大値 (13) 部分空間法研究会 2010 (14) 部分空間法研究会 2010 数学的準備 数学的準備 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 それぞれどのような意味でしょうか? それぞれどのような意味でしょうか? max f (x) f (x) の最大値 max f (x) f (x) の最大値 max f (x) max f (x) x=1 x=1 argmax f (x) argmax f (x) f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある max f (x), s.t. · · · max f (x), s.t. · · · x = 1 を満たす x が与える f (x) の最大値 x = 1 を満たす x が与える f (x) の最大値 x x x x x x に関する制約条件下での f (x) の最大値 x x に関する制約条件下での f (x) の最大値 (15) 部分空間法研究会 2010 (16) 部分空間法研究会 2010 数学的準備 数学的準備 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 それぞれどのような意味でしょうか? それぞれどのような意味でしょうか? max f (x) f (x) の最大値 max f (x) f (x) の最大値 max f (x) max f (x) x=1 x=1 argmax f (x) argmax f (x) f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある max f (x), s.t. · · · max f (x), s.t. · · · x = 1 を満たす x が与える f (x) の最大値 x = 1 を満たす x が与える f (x) の最大値 x x x x x x に関する制約条件下での f (x) の最大値 x x に関する制約条件下での f (x) の最大値 (17) 28 (18) 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 arg,max,subject to の意味 それぞれどのような意味でしょうか? それぞれどのような意味でしょうか? max f (x) f (x) の最大値 max f (x) f (x) の最大値 max f (x) max f (x) x=1 x=1 argmax f (x) argmax f (x) f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる f (x) を最大にする x の集合.この arg は偏角ではなく,引数 という意味.argmin f (x) も同様に定義できる subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある subject to · · · · · · のもとで,という意味.s.t. と略記する場合もある max f (x), s.t. · · · max f (x), s.t. · · · x = 1 を満たす x が与える f (x) の最大値 x = 1 を満たす x が与える f (x) の最大値 x x x x x x に関する制約条件下での f (x) の最大値 x x に関する制約条件下での f (x) の最大値 (19) 部分空間法研究会 2010 部分空間法研究会 2010 数学的準備 数学的準備 ラグランジュ未定乗数法 ラグランジュ未定乗数法 ラグランジュ未定乗数法の解法レシピ ラグランジュ未定乗数法の例 (部分空間法で頻出する例) A を半正定値対称行列とする.u u = 1 の制約条件 のもと,u Au の最大値を求めよ 制約条件のもとで関数の極値を求める方法の一つ [2, 3].主成分分析, SVM の導出等,知っていれば多くのパターン認識に関する問題が解ける max u Au 問題設定 u s.t. u u − 1 = 0 制約条件 g(x) = 0 のもとで関数 f (x) の極値を求めよ ラグランジュ乗数 λ を用いてラグランジュ関数を導入 ラグランジュ乗数 λ を用いてラグランジュ関数を導入 L = u Au − λ(u u − 1) L = f (x) − λg(x) 制約条件のもとで関数が極値をとる点は次式を満たす: 制約条件のもとで関数が極値をとる点は次式を満たす1 : ∂L/∂u = 0, ∂L/∂λ = 0 ∂L/∂u = 2Au − 2λu = 0 より,解は以下を満たす: ∂ ∂L L = ∇f − λ∇g = 0, =0 ∂x ∂λ 上記から d + 1 個の方程式が得られる.一方,未知数は x1 ,...,xd , λ の d + 1 個なので,方程式の解を求めることができる 1 (20) 付録 1 参照 Au = λu これは固有値問題2 .求める解は最大固有値に対応する A の固有ベクトル (左から u を掛けてみよう.u u = 1 に注意) (21) 2 部分空間法研究会 2010 固有値,固有ベクトルについては付録 2 を参照 (22) 部分空間法研究会 2010 部分空間法 部分空間法 CLAFIC CLAFIC 部分空間法 - CLAss-Featuring Information Compression - CLAFIC の識別則 問題設定:総数 n 個の d 次元訓練パターン xi (i = 1, ..., n) が 与えられており,それらが C 個のクラスのいずれか一つに属 するとする クラスらしさを部分空間で表現する方法 [4, 5].部分空間法は主 に三つの観点から独立に見出された経緯がある クラス j に属する訓練パターンを良く近似できる部分空間を 張る正規直交ベクトルを並べた行列を Uj とする クラスの特徴を統計的に抽出する [6] 未知パターン x が与えられたとき,x を良く近似できる部分 空間が属するクラスを以下の識別則に基づき出力する: 視覚情報に関する理論から [7] 統計学からみて自然な発想 (縮退ガウス分布) CLAFIC の識別則 max {U j x} = Uk x ⇒ x ∈ class k j=1,...,C (23) (24) 29 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 部分空間法 部分空間法 cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し - CLAFIC における識別則の直感的な理解 CLAFIC における識別則の直感的な理解 class j cos θ 最大化基準から見た CLAFIC 1/3 U を部分空間を張る正規直交ベクトルを並べた d × r の行列とする.ノ ルムが 1 に正規化された未知パターン x と U の線型結合パターン Uc とのなす角度の最大値を c c = 1 の制約条件のもとで求めよ: class j dj U Tj x x x Uj c x 0 max x Uc = cos θ 0 ㇱಽⓨ㑆ᴺ (1) s.t. c c − 1 = 0 √ なお x = 1,Uc = (Uc) (Uc) = c Ic = 1,クラスの添え字 j を省略していることに注意 x ᦨዊ〒㔌ᴺ x CLAFIC における原点は各クラス共通 未知パターン x を部分空間を使って最も良く近似できるクラ スへ分類する 2 ⇒ d2j = x2 − U j x が最小のクラスへ分類する.ただ 2 2 し,x が全クラス共通なので,結局 U j x が最大とな るクラスへ分類すれば良い (25) u2 u1 Uc 部分空間法研究会 2010 (26) 部分空間法研究会 2010 部分空間法 部分空間法 cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し - cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し - cos θ 最大化基準から見た CLAFIC 2/3 cos θ 最大化基準から見た CLAFIC 3/3 式 (1) のラグランジュ関数を導入 L = x Uc − λ2 (c c − 1) 求めた c = (U x)/U x を x Uc に代入すると ∂L/∂c = U x − λc = 0 より,解は以下を満たす: c= 1 U x λ cos θ = x Uc = (2) 制約条件より c c = x UU x U x2 = = U x = λ U x U x したがって最大の cos θ を与える部分空間上のパターンは (U x)/U x ∈ Rr ,または (UU x)/U x ∈ Rd で与えられ, その cos θ の値は U x である 1 1 (U x) (U x) = 2 U x2 = 1 λ2 λ となるから λ = U x であることがわかる 求めた λ を式 (2) に代入すれば x U x c= U x となる.これは x を U の張る部分空間へ正射影したパターンをノ ルム 1 に正規化したものに他ならない u2 u1 Uc = UU T x UTx (27) (28) 部分空間法研究会 2010 部分空間法研究会 2010 部分空間法 部分空間法 cos θ 最大化基準から見た CLAFIC - 相互部分空間法への橋渡し - 部分空間の求め方 U をどのように求めるか? 1/2 相互部分空間法への拡張 未知パターン x を部分空間上のパターンに変更することで,相互部分空 間法に容易に拡張できる:V を部分空間を張る正規直交ベクトルを並べ た d × s の行列とする.V の線型結合パターン Vb と U の線型結合パ ターン Uc のなす角度の最大値を b b = 1,c c = 1 の制約条件のもと で求めよ: 部分空間へ正射影したパターンのバラツキが大きい軸から r 本を 選ぶ (下の例では赤の部分空間) 相互部分空間法への拡張 max (Vb) (Uc) b,c s.t. b b − 1 = 0, c c − 1 = 0 0 これもラグランジュ未定乗数法で解ける.詳しくは午後のチュートリア ルを参照 (29) (30) 30 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 部分空間法 部分空間法 部分空間の求め方 部分空間の求め方 U をどのように求めるか? 2/2 次元数 d が大きい場合 (非線型部分空間法への橋渡し) n 個の訓練パターン x1 , ..., xn が与えられた場合,はじめに 2 yi = u 1 xi のバラツキ (yi ) が最大となる u1 を求めることを考 える: n n 2 u1 max (u x ) = u x x i i 1 i 1 u1 i=1 訓練パターンを並べた d × n の行列を X = (x1 | · · · |xn ) とする d が大きい場合,d × d の行列 D = XX をメモリに格納す るのは困難 i=1 固有値,固有ベクトルを計算するのも大変 s.t. u 1 u1 − 1 = 0 n i=1 xi xi ラグランジュ未定乗数法から,解は行列 D = 有値 λ1 に対応する固有ベクトルであることがわかる n d のときは n × n の行列 N = X X の固有ベクトルと固 有値から U を計算した方が効率的 の最大固 ※固有ベクトルを求めるだけならば X X を n で割る必要はない (固有値が n 倍される) 一般に,バラツキの値が r 番目に大きい正規直交ベクトル ur は D の r 番目に大きい固有値 λr に対応する固有ベクトルで与えられる クラスごとに r 次元の部分空間を張る固有ベクトルを並べた行列 Uj = (u1 | · · · |ur ) を求め,それらを識別に用いる (31) (32) 部分空間法研究会 2010 部分空間法研究会 2010 部分空間法 計算機実験 部分空間の求め方 固有ベクトルの変換公式 手書き数字パターン認識の実験 行列 N = X X ∈ Rn×n の r 個の 0 でない固有値を大きなものか ら順に λ1 , ..., λr (D = XX の固有値と同じ) とし,それぞれに 対応する固有ベクトルを v 1 , ..., v r ∈ Rn とする.i 番目に大きい 固有値に対応する d 次元の固有ベクトル ui は以下で求めること ができる [8]: 実験には http://www.gaussianprocess.org/gpml/data/ で公開されている USPS 手書き数字データを使用 16 × 16 ピクセルの手書き数字パターンを 256 次元のベクト ルにしたもので,未知 · 訓練パターン数はそれぞれ 4649 実験で使用するプログラムは makedata.m と clafic.m 固有ベクトルの変換公式 ±Xv i ui = √ λi 超高次元 (または無限次元) の固有ベクトルもこれで表現できる ⇒ 非線型部分空間法で利用できる (33) (34) 部分空間法研究会 2010 部分空間法研究会 2010 計算機実験 計算機実験 makedata.m clafic.m データに関する注意と makedata.m の内容 clafic.m の内容 オリジナルの USPS データは未知パターンと訓練パターンの 収集方法が異なるため,前述のウェブサイトで公開されてい るものは以下のような修正が施されている: clafic.m を実行すると以下の結果が表示される Figure 1:各クラスで求められた固有値の大きい上位 10 個に 対応した固有ベクトル 未知パターンと訓練パターンをランダムに混ぜた後,同数の 未知パターンと訓練パターン集合に分割 画素値が [−1, +1] となるようにスケーリング Figure 2:imgnum 番目の未知パターンの Uj による展開を画 像化したもの (r = 13) ただし,上記のデータは原点が 0 である保障がないことと, 画像が横向きに保存されていること,ならびにクラスラベル が pair-wise な形式で保存されていることから,以下のような 修正を makedata.m を用いて行う: 識別率と 1 パターンあたりの平均識別時間 なお,プログラム先頭の r や imgnum の値を変えると結果がかわ るので,いろいろと値を変えてみよう 画像を縦方向に変換 画素値が [0, +1] となるようにスケーリング クラスラベルを 0 から 9 となるように修正 修正を施したデータは usps.mat という名前で保存 (35) (36) 31 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 計算機実験 計算機実験 記号の意味 実行結果 Figure 1 のキャプチャ画面 発表資料とプログラムで使われている記号の対応表 意味 クラス数 次元数 未知 · 訓練パターン数 第 i 訓練パターン 第 i 訓練パターンのラベル 第 i 未知パターン 第 i 未知パターンのラベル クラス j の部分等長行列 Uj ベクトル x と y の内積 ベクトル x のノルム 発表資料 c d n xi x Uj x√ y x = x x プログラム nclass d ndata trai(:,i) trai_label(i) test(:,i) test_label(i) C(j).U x’*y norm(x) 各クラスのパターンの変動が観察できる (37) 部分空間法研究会 2010 (38) 部分空間法研究会 2010 計算機実験 計算機実験 実行結果 比較実験 Figure 2 のキャプチャ画面 実験条件 CPU 1.86GHz,メモリ 2GB,32bit の Windows,MATLAB (R14) を使用 䏗䏈䏖䏗䎃䏖䏄䏐䏓䏏䏈 䏆䏏䏄䏖䏖䎃䎓 䏆䏏䏄䏖䏖䎃䎔 䏆䏏䏄䏖䏖䎃䎕 䏆䏏䏄䏖䏖䎃䎖 䏆䏏䏄䏖䏖䎃䎗 䏆䏏䏄䏖䏖䎃䎘 䏆䏏䏄䏖䏖䎃䎙 䏆䏏䏄䏖䏖䎃䎚 䏆䏏䏄䏖䏖䎃䎛 識別法 ベイズ決定則 マハラノビス距離 線型判別分析 最小距離法 最近傍決定則 部分空間法 (r = 13) 部分空間法 (累積寄与率) 線型 SVM 非線型 SVM 䏆䏏䏄䏖䏖䎃䎜 未知パターンの各 Uj による展開 (Uj U j x) 正しいクラスでは未知パターンを良く近似できる 単峰ガウス分布 (正則化あり) 正則化あり 正則化なし 各クラスの重心との距離で識別 最近傍パターンのラベルを出力 CLAFIC CLAFIC one-against-all one-against-all, RBF Kernel (39) (40) 部分空間法研究会 2010 部分空間法研究会 2010 計算機実験 計算機実験 比較実験 比較実験 部分空間の次元数の決め方 累積寄与率 λ̄ = r i=1 λi / 実験結果 rank(D) j=1 λj でクラスごとに決定 識別時間は一つの未知パターンを分類するのに必要な平均時間 分割学習法:訓練データを二つにわけ,一方を未知パターン とみなして r をクラス共通で決定 (下図参照) 識別法 ベイズ決定則 マハラノビス距離 線型判別分析 最小距離法 最近傍決定則 部分空間法 (r = 13) 部分空間法 (λ̄ = 0.95) 線型 SVM 非線型 SVM test validation accuracy [%] 95 90 85 0 20 40 60 80 100 dimensionality of each subspace r (41) 識別率 (%) 96.5 97.1 92.0 85.8 97.4 96.9 94.3 93.9 98.0 識別時間 (s) 0.003 0.002 0.002 3 × 10−5 0.01 6 × 10−4 5 × 10−4 136.8 222 辞書サイズ (KB) 5140.2 5140 532 20 9298 260 231 3656 5352 (42) 32 部分空間法研究会2010 部分空間法研究会 2010 部分空間法研究会 2010 まとめ まとめ 部分空間法の特長 部分空間法の難点とその回避法 部分空間法の特長 部分空間法の難点とその回避法 特徴抽出と識別を同時に行うことができる クラスの追加・削除が容易 次元数が小さい場合 (例えば d = 2) に識別率が低下 [9] 高速な識別が可能 複雑な決定境界を持つパターン分布では識別率が低下 辞書サイズを部分空間の次元数 r で調整できる カーネル非線形部分空間法 local subspace classifier (入力近傍に限定した投影距離法) パラメータは r のみ (累積寄与率,交差検定で決める) 学習により識別率を向上できる ※これらは計算時間,メモリ容量およびパラメータ数が大き くなる傾向がある 理論的な拡張が容易 複合類似度法,混合類似度法 直交部分空間法,学習部分空間法 カーネル非線形部分空間法 相互部分空間法,相互投影距離法,tangent distance k-subspace clustering,(fuzzy) k-varieties clustering 上記の組合せ クラス数が増加すると識別率が低下 カーネル非線形部分空間法 (43) (44) 部分空間法研究会 2010 部分空間法研究会 2010 まとめ まとめ 参考文献 参考文献 参考文献 I 参考文献 II [1] 数学セミナー編集部, 教えて欲しい数学の疑問 1, 日本評論社,1996. [8] 金谷健一, これなら分かる応用数学教室 -最小二乗法からウェーブレットまで-, 共立 出版, 2003. [2] 金谷健一, これなら分かる最適化数学 -基礎原理から計算手法まで -, 共立出版, 2005. [9] 鷲沢嘉一, “正則化を用いた 2 次識別器,” MIRU 2007. [3] C.M. Bishop, Pattern recognition and machine learning, Springer, 2006. 元田 浩,栗田多喜夫,樋口知之,松本祐治,村田 昇 監訳,パターン認識と機械学 習 - ベイズ理論による統計的予測,上下巻,シュプリンガー・ジャパン,2008. [4] S. Watanabe, P.F. Lambert, C.A. Kulikowski, J.L. Buxton, and R. Walker, “Evaluation and selection of variables in pattern recognition,” in Computer and Information Sciences II, p. 91, Academic Press, 1967. [5] E. Oja, Subspace methods of pattern recognition, Research Studies Press, 1983. 小川英光,佐藤 誠 訳,パターン認識と部分空間法, 産業図書,1986. [6] S. Watanabe, Knowing and guessing : A quantitative study of inference and information, John Wiley & Sons, New York, 1969. 村上陽一郎, 丹治信春 訳, 知識と推測 : 科学的認識論, 上下巻, 東京図書, 1987. [7] 飯島泰蔵,視覚情報の基礎理論 - パターン認識問題の源流 -,コロナ社,1999. (45) (46) 部分空間法研究会 2010 部分空間法研究会 2010 付録 1 付録 2 付録 1: ラグランジュ未定乗数法の直感的な理解 付録 2: 固有値,固有ベクトルの直感的な理解 Au = λu (u = 0) が成り立つとき u を A の固有ベクトル,λ を固有値とよぶ f ( x ) = const . 䎔䎓 䎛 䎙 䎗 䎕 x2 ∇f 䎓 䎐䎕 䎐䎗 g (x ) = 0 䎐䎙 ∇g 䎐䎛 䎐䎔䎓 䎐䎔䎓 䎓 x1 䎘 䎔䎓 „ « 1/5 1/4 ,x を任意の座標とする.青い点を Ax で変換す 1/4 1/5 ると,赤い × へ移動する.移動の軌跡を緑の線で表すと,連続した二本の直線 二変数の場合の例 例:A を A = 制約条件 g(x) = 0 と f (x) の等高線の法線ベクトルが極値で平行 ∇f = λ∇g 䎐䎘 が現れる (この直線上にある点の位置ベクトルの方向が変化してないから).こ の二本の直線の方向を与えるものが固有ベクトル,その直線上の移動量が固有値 (47) 33 (48) 部分空間法研究会2010 Ⴘഏ ̅ẾềỚợạὲᢿЎᆰ᧓ඥ -ႻʝᢿЎᆰ᧓ඥ- • • • • ῍Ausgang῍ 㒊ศ✵㛫ἲ䛾ᣑᙇ ┦㒊ศ✵㛫ἲ䛸䛿 ┦㒊ศ✵㛫ἲ䛾ᣑᙇ ᐇ㦂⤖ᯝ 㒊ศ✵㛫ἲ◊✲ 2010 䠎䠌䠍䠌ᖺ䠓᭶䠎䠒᪥ ᰴᘧ♫ ᮾⰪ ◊✲㛤Ⓨ䝉䞁䝍䞊 Ἑཎ ᬛ୍ Copyright 2010, Toshiba Corporation. 2 Ⴘഏ ᛐᜤඥỉኒᜧίሇඬٻᅦʟέဃ˺ỉửો٭ὸ • 㒊ศ✵㛫ἲ䛾ᣑᙇ [6] [7] – ⥺ᆺ – 㠀⥺ᆺ – 䜰䞁䝃䞁䝤䝹Ꮫ⩦ 䜹䞊䝛䝹㠀⥺ᙧ㒊ศ✵㛫ἲ Nonlinear extension KSM [1] [2] [3] 㒊ศ✵㛫ἲ SM [8][9] • ┦㒊ศ✵㛫ἲ䛸䛿 • ┦㒊ศ✵㛫ἲ䛾ᣑᙇ • ᐇ㦂⤖ᯝ ᰾㠀⥺ᙧ┦㒊ศ✵㛫ἲ Nonlinear extension KMS [4] [5] ┦㒊ศ✵㛫ἲ MSM +Constraint subspace [15] [16] 䜹䞊䝛䝹㠀⥺ᙧ ไ⣙┦㒊ศ✵㛫ἲ Nonlinear extension [15] +Multiple constraint subspaces CMSM KCMSM 䜹䞊䝛䝹㠀⥺ᙧ ┤┦㒊ศ✵㛫ἲ [10] [11] [12] ไ⣙┦㒊ศ✵㛫ἲ [17] ከ㔜ไ⣙┦㒊ศ✵㛫ἲ MCMSM +Orthogonalization matrix Nonlinear extension KOMSM 㠀⥺ᆺᣑᙇ [13][14] [13] ከ㔜ⓑⰍ┦㒊ศ✵㛫ἲ ⓑⰍ┦㒊ศ✵㛫ἲ WMSM ⥺ᆺᣑᙇ 3 +Multiple Whitened matrices MWMSM 䜰䞁䝃䞁䝤䝹Ꮫ⩦ 4 Ⴘഏ ႻʝᢿЎᆰ᧓ඥểỊ[4][5] • 㒊ศ✵㛫ἲ䛾ᣑᙇ • ┦㒊ศ✵㛫ἲ䛸䛿 • “」ᩘ”䛾ධຊ䝧䜽䝖䝹䛸」ᩘ䛾Ⓩ㘓䝃䞁䝥䝹䛾㢮ఝᛶ䜢 䜛 ᡭἲ • 㒊ศ✵㛫ἲ䛻䛚䛡䜛௨ୗ䛾ᯟ⤌䜏䜢ᣑᙇ – 㒊ศ✵㛫ἲ䛾ᯟ⤌䜏䛾ᣑᙇ – 㒊ศ✵㛫ྠኈ䛾㢮ఝᗘィ⟬ – 」ᩘ䛾Ⓩ㘓䝃䞁䝥䝹䠄ศᕸ䠅䛛䜙䜽䝷䝇䜙䛧䛥䜢㒊ศ✵㛫䛷⾲⌧ – 㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷䚸ධຊ䝧䜽䝖䝹䛻᭱䜒㏆䛔䝧䜽䝖䝹 䜢᥈⣴ • ┦㒊ศ✵㛫ἲ䛾ᣑᙇ • ᐇ㦂⤖ᯝ ᣑᙇ ┦㒊ศ✵㛫ἲ • 」ᩘ䛒䜛ධຊ䝧䜽䝖䝹䠄ศᕸ䠅䛚䜘䜃䝃䞁䝥䝹䠄ศᕸ䠅䜢㒊ศ✵㛫䛷⾲⌧ • ṇ‽䝧䜽䝖䝹䠄ྛ㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷᭱䜒㏆䛔䝨䜰䠅䛾 㛫䛾ゅᗘ䠄䛾వᘻ䛾䠎䠅䜢㒊ศ✵㛫ྠኈ䛾㢮ఝᗘ䛸䛩䜛 5 6 34 部分空間法研究会2010 ᢿЎᆰ᧓ඥỉኵỚ λщͨờᢿЎᆰ᧓Ểᘙྵ • Ⓩ㘓䝃䞁䝥䝹䛾䜽䝷䝇䜙䛧䛥䜢㒊ศ✵㛫䛷⾲⌧ • 」ᩘ䛒䜛ධຊ䝧䜽䝖䝹䠄ศᕸ䠅䛚䜘䜃䝃䞁䝥䝹䠄ศᕸ䠅䜢㒊ศ✵ 㛫䛷⥺ᆺ⾲⌧ ⮬ᕫ┦㛵⾜ิ A 䛾 ᅛ᭷್ၥ㢟䜢ゎ䛟 φ1 ,, φ N 1 A N 0 N φ k φk 䛭䜜䛮䜜䛷⮬ᕫ┦㛵⾜ิ 䠃ᅛ᭷್ၥ㢟 t 0 1 ,, M k 1 A 1 M M k z t k k 1 y • 㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷䚸ධຊ䝧䜽䝖䝹䛻᭱䜒㏆䛔䝧䜽䝖䝹䜢 ᥈⣴ ψ z max 1 , 2 ,12 22 1, y (φ, ψ ) max 1 , 2 ,12 22 1, (1φ1 2φ 2 , ψ ) φ1 ,, φ N max ( ψ ) 2 2 t t 1 , 2 ,1 2 1, 1 N N φ k φk 0 t x k 1 䠎䛴䛾㞟ྜ䛾㢮ఝᛶ䜢ẚ㍑ φ 1φ1 2φ2 0 A 0 㒊ศ✵㛫䛷ẚ㍑ x 7 8 ᢿЎᆰ᧓ӷٟỉᚌࡇửဇẟề˩ࣱửᚸ̖ ᢿЎᆰ᧓ӷٟỉ˩ࡇᚘምί1/2ὸ • ྛ㒊ศ✵㛫䛻ᒓ䛩䜛㛗䛥䠍䛾䝧䜽䝖䝹䛷᭱䜒㏆䛔䝨䜰䛾ゅᗘ䛷 㒊ศ✵㛫ྠኈ䛾㢮ఝᛶ䜢⾲⌧ • 㢮ఝᗘ䛿௨ୗ䛾ၥ㢟䜢ゎ䛟䛣䛸䛷ᚓ䜙䜜䜛 – φ, ψ䛸䜒䛻㛗䛥䛜䠍䛾ไ⣙䛜䛒䜛䛾䛷䚸䛂᭱䜒㏆䛔䛃䠙䛂ෆ✚䛜᭱䛃 – 䛣䛾䝨䜰䛾䝧䜽䝖䝹䜢䛭䜜䛮䜜䛾ṇ‽䝧䜽䝖䝹䛸䜆 max (φ, ψ ) max (1φ1 2φ 2 , 1ψ1 2 ψ 2 ) 1 , 2 , 1 , 2 , 12 22 1, 12 22 1 1 , 2 , 1 , 2 , 12 22 1, 12 22 1 㢮ఝᗘ䜢ᑟฟ䛩䜛ၥ㢟 max ( t t ) 1 , 2 , 1 , 2 , 12 22 1, 12 22 1 㒊ศ✵㛫䠞 ṇ‽䝧䜽䝖䝹 ψ 䛣䛾ゅᗘ䜢㒊ศ✵㛫䠝䛸 㒊ศ✵㛫䠞䛾㢮ఝᗘ䛸䛩䜛 㒊ศ✵㛫䠞 ψ1 cos θ 䠖㢮ఝᗘ 㒊ศ✵㛫䠝 θ φ ṇ‽䝧䜽䝖䝹 ( φ 1) φ1 φ 2 㒊ศ✵㛫䠝䛾ṇつ┤ᇶᗏ ψ1 ψ 2 㒊ศ✵㛫䠞䛾ṇつ┤ᇶᗏ 㒊ศ✵㛫䠝 ψ 1ψ1 2 ψ 2 ( ψ 1) θ ψ2 φ1 φ 1φ1 2φ2 φ2 䛣䛾ᅗ䛿䜲䝯䞊䝆䛷䛩 䛣䛾ᅗ䛿䜲䝯䞊䝆䛷䛩 䠄䠏ḟඖ✵㛫୰䛾䠎ḟඖᖹ㠃ྠኈ䛷䛿䚸ඹ㏻㒊ศ䠄㔜䛺䜛㒊ศ䠅䛻ᒓ䛩䜛䝧䜽䝖䝹䛜᭱䜒㏆䛔䝧䜽䝖䝹䛻䛺䜛䛯䜑䠅 䠄䠏ḟඖ✵㛫୰䛾䠎ḟඖᖹ㠃ྠኈ䛷䛿䚸ඹ㏻㒊ศ䠄㔜䛺䜛㒊ศ䠅䛻ᒓ䛩䜛䝧䜽䝖䝹䛜᭱䜒㏆䛔䝧䜽䝖䝹䛻䛺䜛䛯䜑䠅 9 10 ᢿЎᆰ᧓ӷٟỉ˩ࡇᚘምί2/2ὸ Ⴘഏ • ၥ㢟 max ( ) 䜢Lagrange 䛾ᮍᐃᩘἲ䜢⏝䛔䛶ゎ䛟 • 㒊ศ✵㛫ἲ䛾ᣑᙇ • ┦㒊ศ✵㛫ἲ䛸䛿 • ┦㒊ศ✵㛫ἲ䛾ᣑᙇ t t , 1 1 1 Lagrangian: L t t ( t 1) ( t 1) 2 2 Lagrangian 䜢α䛸β䛷 L 䛭䜜䛮䜜೫ᚤศ t 0 L t 0 ᘧኚᙧ t t ௦ධ – ไ⣙┦㒊ศ✵㛫ἲ – ⓑⰍ┦㒊ศ✵㛫ἲ – ྛᡭἲ䛾䝫䜲䞁䝖 t t t t • ᐇ㦂⤖ᯝ ୖᘧ䛻ᕥ䛛䜙α䛾㌿⨨ ୗᘧ䛻ᕥ䛛䜙β䛾㌿⨨ 䜢䛛䛡䜛䛸 t t t t t t ୖᘧ䛸ୗᘧ䛾ᕥ㎶䛿ྠ䛨್䛷 䛛䛴䚸ồ䜑䜛㢮ఝᗘ 㢮ఝᗘ䛾䠎䛿䚸 䜎䛯䛿 䛾᭱ᅛ᭷್ t t t t 䠄䛹䛱䜙䜢⏝䛧䛶䜒䜘䛔䚹⾜ิ䛾䝃䜲䝈䛜 ␗䛺䜛䛯䜑䚸ィ⟬䛜㏿䛔᪉䜢㑅䜆ሙྜ䛜୍⯡ⓗ䠅 㢮ఝᗘ 11 12 35 部分空間法研究会2010 ႻʝᢿЎᆰ᧓ඥỉίዴὸਘࢌ СኖႻʝᢿЎᆰ᧓ඥ[10][11][12] • ┦㒊ศ✵㛫ἲ䛿䜽䝷䝇ෆኚື䜢ไᚚ䛧䛶䛔䜛䛸䜏䛺䛩䛸… • ไ⣙㒊ศ✵㛫䜈ྛ㒊ศ✵㛫䜢ᑕᙳ䛩䜛䛣䛸䛷䚸㒊ศ✵㛫ྠኈ 䛾ゅᗘ䜢ᗈ䛢䜛 – 䜽䝷䝇䜙䛧䛥䜢⥺ᆺ䛷⾲⌧䛧䛶䛔䜛䛸䛿䚸䜽䝷䝇ෆኚື䜢⥺ᆺ㏆ఝ䛧䛶䛔 䜛䛸䜏䛺䛩䛣䛸䜒䛷䛝䜛 – ไ⣙㒊ศ✵㛫䛿䚸ྛ䜹䝔䝂䝸䛾㒊ศ✵㛫䛾䠄୍⯡䠅ᕪศ㒊ศ✵㛫 – ලయⓗ䛺ィ⟬᪉ἲ䛿䚸௨ୗ䛾㒊ศ✵㛫䛾㞟ྜ䛾⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷ ್䛜”ᑠ䛥䛔”䝧䜽䝖䝹䜢ᇶᗏ䛸䛩䜛䠄ᇶᗏᩘ䛿ᐇ㦂ⓗ䛻Ỵ䜑䜛䠅 • 䜽䝷䝇㛫ኚື䜒⪃៖䛧䛯䠄⥺ᆺ䠅ᣑᙇ – ලయⓗ䛻䛿䚸」ᩘ䛾㒊ศ✵㛫䛻ᑐ䛧䛶䚸㒊ศ✵㛫ྠኈ䛾ゅᗘ䜢ᗈ䛢䜛 ⥺ᆺീ䜢⪃䛘䜛 • ไ⣙┦㒊ศ✵㛫ἲ • ⓑⰍ┦㒊ศ✵㛫ἲ ⮬ᕫ┦㛵⾜ิ A N 1 N P k k 1 BΛB t ᅛ᭷್䛾ᑐゅ⾜ิ ᅛ᭷䝧䜽䝖䝹䜢୪䜉䛯⾜ิ ྛ㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ 㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ d P i i t i 1 1 d 䛿㒊ศ✵㛫䛾ṇつ┤ᇶᗏ ᅛ᭷್䛾ᑠ䛥䛔ᅛ᭷䝧䜽䝖䝹䛷⏕ᡂ䛥䜜䛯✵㛫䜈ᑕᙳ䛩䜛 ไ⣙㒊ศ✵㛫 13 14 ႉᑥ҄ႻʝᢿЎᆰ᧓ඥ[13][14] СኖấợỎႉᑥ҄ႻʝᢿЎᆰ᧓ඥỉᜤК૾ඥ • ⓑⰍኚ䜢䛩䛣䛸䛷䚸㒊ศ✵㛫ྠኈ䛾ゅᗘ䜢ᗈ䛢䚸ᐦᗘ 䜢ᆒ୍䛧䜘䛖䛸䛩䜛ᡭἲ • ྛ䜽䝷䝇䛾㒊ศ✵㛫䛾ไ⣙㒊ศ✵㛫䜈䛾ᑕᙳ䜎䛯䛿ⓑⰍኚ䜢ィ⟬ – ྛ䜽䝷䝇䛾 d ḟඖ㒊ศ✵㛫䛾ṇつ┤ᇶᗏ 1 d 䜢䛭䜜䛮䜜䚸ไ⣙㒊ศ ✵㛫䜈ᑕᙳ䜎䛯䛿ⓑⰍኚ䛩䜛 – ᑕᙳ䜎䛯䛿ኚ䛷ᚓ䜙䜜䛯 d ᮏ䛾 1 ' d ' 䜢ṇつ┤䠄Gram-Schmidt ┤䛺䛹䠅䛩䜛䛣䛸䛷䚸ኚ䛧䛯㒊ศ✵㛫䛾ᇶᗏ 1 ' ' d ' ' 䜢ᚓ䜛 – ⓑⰍኚ䛿䚸㒊ศ✵㛫䛾㞟ྜ䛾⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷್䛸ᅛ᭷䝧䜽䝖 䝹䜢⏝䛔䛶ᚓ䜙䜜䜛 1 N ⮬ᕫ┦㛵⾜ิ A Pk BΛBt N k 1 • ኚᚋ䛾㒊ศ✵㛫ྠኈ䛾㢮ఝᗘ䜢┦㒊ศ✵㛫ἲ䛷ィ⟬ ኚᚋ䛾ᇶᗏ ⓑⰍኚ W 1/ 2 Bt ኚᚋ䛾㒊ศ✵㛫䛾 ṇつ┤ᇶᗏ 䠄ṇつ┤䛸䛿㝈䜙䛺䛔䠅 ψ1 ' ψ1 ψ2 WAW t I 䜽䝷䝇䛾㒊ศ✵㛫 A I ψ1 ' ' ψ2 ' ṇつ┤ᇶᗏ ṇつ┤ 䠄Gram-Schmidt┤䠅 ไ⣙㒊ศ✵㛫䜈ᑕᙳ 䜎䛯䛿ⓑⰍኚ ψ2 '' 㒊ศ✵㛫䛷䛾ᑕᙳ䞉ኚ䛾䜲䝯䞊䝆 15 16 ᢿЎᆰ᧓ỉᨼӳỉᐯࠁႻ᧙ᘍЗểỊί1/2ὸ ᢿЎᆰ᧓ỉᨼӳỉᐯࠁႻ᧙ᘍЗểỊί2/2ὸ • ᅛ᭷್䛾䛝䛥䛜䛭䛾ᅛ᭷䝧䜽䝖䝹᪉ྥ䛾㒊ศ✵㛫䛾ᐦᗘ䜢 㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ ⾲䛩⾜ิ • ᅛ᭷್䛿䚸ᑐᛂ䛩䜛ᅛ᭷䝧䜽䝖䝹䛸ྛ㒊ศ✵㛫䛸䛾ᑕᙳ㛗䛾䠎 ᖹᆒ d P i i t i 1 1 d 䛿㒊ศ✵㛫䛾ṇつ┤ᇶᗏ ྛ㒊ศ✵㛫䜈䛾ᑕᙳ⾜ิ 1 ⮬ᕫ┦㛵⾜ิ A N N P k BΛB v t v v t Av t ᅛ᭷್ 1 N N v t (Pk v) k 1 k 1 1 N N cos 2 θ k (v) k 1 ྛ㒊ศ✵㛫䛸䛾ᑕᙳ㛗䛾䠎ᖹᆒ ᅛ᭷್䛾ᑐゅ⾜ิ ᅛ᭷䝧䜽䝖䝹䜢୪䜉䛯⾜ิ ⮬ᕫ┦㛵⾜ิ䠝䛾ᅛ᭷್ 䜲䝯䞊䝆ᅗ ᅛ᭷್䛾䛝䛥䜢ᴃ䛷⾲⌧ A ⮬ᕫ┦㛵⾜ิ䜢ィ⟬ 㒊ศ✵㛫䛾㞟ྜ v λ 䛻ᑐᛂ䛩䜛ᅛ᭷䝧䜽䝖䝹 θ k ( v) k ␒┠䛾㒊ศ✵㛫䛸 v 䛸䛾ゅᗘ ᅛ᭷್䠙ᐦ ᑕᙳ㛗䛾䠎ᖹᆒ䛜䛝䛔䜋䛹䚸㒊ศ✵㛫䛾ᐦᗘ䛜㧗䛟 ᑠ䛥䛔䜋䛹䚸㒊ศ✵㛫䛾ᐦᗘ䛜ప䛔 ᅛ᭷್ᑠ䠙 17 18 36 部分空間法研究会2010 СኖᢿЎᆰ᧓Ὁႉᑥ҄٭੭ỉᢌẟ ᾁඥử̅ဇẴỦᨥỉἯỶὅἚ • 䛂ᅛ᭷್䠙㒊ศ✵㛫䛾ᐦᗘ䛃䜢⏝䛧䛯䚸⮬ᕫ┦㛵⾜ิ䛾ᅛ᭷ 䝧䜽䝖䝹䛾㔜䜏䛡䛾㐪䛔䛸䛧䛶⾲⌧ • 㒊ศ✵㛫䛾ᐦᗘ᥎ᐃ䛜䝫䜲䞁䝖 • ไ⣙┦㒊ศ✵㛫ἲ ᐦᗘ䛻ᛂ䛨䛶䚸 ᡂศ䛻㔜䜏䜢䛩䜛 ᐦᗘ䛜㧗䛔㒊ศ 䠄ඹ㏻䛺ᡂศ䠅䜢ྲྀ䜚㝖䛟 – 䜹䝔䝂䝸ᩘ䛜ᑡ䛺䛔䚸䜎䛯䛿༑ศ䛺Ꮫ⩦䛜䛷䛝䛺䛔ሙྜ䚸Ꮫ⩦䛸ㄆ㆑ 䛻ศᕸ䛜䛝䛟ኚ䜟䜛䛸䛝䛺䛹䛻᭷ຠ • ⓑⰍ┦㒊ศ✵㛫ἲ ⓑⰍኚ䠄䠳䠩䠯䠩䠅 – 䜹䝔䝂䝸ᩘ䛜ከ䛟䚸༑ศ䛻Ꮫ⩦䛜䛷䛝䜛ሙྜ䛻᭷ຠ • 䜹䝔䝂䝸ᩘ䛜ᑡ䛺䛔䛸㐣Ꮫ⩦䛩䜛ഴྥ䛜䛒䜛 • ≉䛻䚸䛂≉ᚩ✵㛫ḟඖ 䠚 㒊ศ✵㛫䛾ḟඖ x 䜹䝔䝂䝸ᩘ䛃䛾䛿䚸 㒊ศ✵㛫ྠኈ䜢┤䛥䛫䜛 䠍䠊䠌 ไ⣙㒊ศ✵㛫䠄䠟䠩䠯䠩䠅 ᅛ᭷್ ᅛ᭷್ᑠ 19 20 ಒᙲ π᫊ἙὊἑỆợỦ᬴ܱ • • • • • 䝕䞊䝍䝧䞊䝇 㒊ศ✵㛫ἲ䛾ᣑᙇ ┦㒊ศ✵㛫ἲ䛸䛿 ┦㒊ศ✵㛫ἲ䛾≉ᚩᢳฟᡭἲ ᐇ㦂⤖ᯝ 㼜㼞㼛㼎㼑 㼓㼍㼘㼘㼑㼞㼥 㻝㻝㻥㻢 㻝㻝㻥㻡 㻲㻱㻾㻱㼀㻌㼒㼍㻘㻌㼒㼎 ⏬ീ • ᡭἲ – ┦㒊ศ✵㛫ἲ䠄䠩䠯䠩䠅 – ไ⣙┦㒊ศ✵㛫ἲ䠄䠟䠩䠯䠩䠅 – ⓑⰍ┦㒊ศ✵㛫ἲ䠄䠳䠩䠯䠩䠅 • ホ౯ᣦᶆ – 䠍ṇゎ⋡ – ➼౯䜶䝷䞊⋡ 21 22 ཎࣉໜ౨ЈỉᛚࠀỆࣖݣẴỦẺỜ ᙐૠỉ᫊ဒẦỤᢿЎᆰ᧓ử˺ • ᳨ฟ⨨䛛䜙㢦䜢ษ䜚ฟ䛩㝿䚸㢦㡿ᇦ䜢」ᩘኚ䛥䛫䛶䚸」ᩘ 䛾⏬ീ䜢⏕ᡂ • ௨ୗ䛾ฎ⌮䜢Ⓩ㘓䞉↷ྜ䛾᪉䛷⾜䛖 – ᳨ฟ⨨䛜ከᑡ䛪䜜䛶䜒䚸ᑐᛂ䛷䛝䚸᳨ฟㄗᕪ䛻㡹䛻䛺䜛 – Ⓩ㘓䞉↷ྜ୧᪉䛷⾜䛖䛣䛸䛷䚸䛥䜙䛻᳨ฟㄗᕪ䛻㡹䛻䛺䜛 ษ䜚ฟ䛧䛯」ᩘ䛾㢦⏬ീ ⮬ᕫ┦㛵⾜ิ䠃ᅛ᭷್ၥ㢟 1 N t A k k N k 1 z y 0 x 0 ษ䜚ฟ䛧䛯」ᩘ䛾㢦⏬ീ 23 ಶே䛾㢦䛾㒊ศ✵㛫 䠄Ⓩ㘓䞉↷ྜ䠅 24 37 部分空間法研究会2010 ᛐᜤ᬴ܱίFERETὸ ᬴ܱኽௐ • FERET 䝕䞊䝍䛻䛚䛡䜛⣼✚ศ㢮⋡ 䠍ṇゎ⋡(%) 㻜㻚㻥㻥㻜㻌 2.26 㻜㻚㻥㻤㻜㻌 2.00 1.50 0.84 1.00 㻜㻚㻥㻠㻜㻌 0.00 WMSM 㻠㻥 㻠㻣 㻠㻡 㻠㻟 㻠㻝 㻟㻥 㻟㻣 㻟㻡 㻟㻟 㻟㻝 㻞㻥 㻞㻣 㻞㻡 㻞㻟 㻞㻝 㻝㻥 㻝㻣 㻜㻚㻥㻟㻜㻌 㻝㻡 CMSM 㻝㻟 MSM 㻥 WMSM 㻝 CMSM 㻜㻚㻥㻢㻜㻌 㻜㻚㻥㻡㻜㻌 0.50 MSM 㼃㻹㻿㻹 㻹㼃㻹㻿㻹 㻯㻹㻿㻹 㻹㻯㻹㻿㻹 㻹㻿㻹 㼁㻹㻰㻥㻣 㻜㻚㻥㻣㻜㻌 㻣 93.6 1.26 㻝㻝 95.9 㻡 2.50 㻟 97.4 㻯㼡㼙㼡㼘㼍㼠㼕㼢㼑㻌㻹㼍㼠㼏㼔㻌㻾㼍㼠㼑 98 97 96 95 94 93 92 91 㻝㻚㻜㻜㻜㻌 ➼౯䜶䝷䞊⋡(%) 㻾㼍㼚㼗 25 26 References [1] S. Watanabe, N. Pakvasa, “Subspace method of pattern recognition”, Proc. 1st Int. J. Conf. on Pattern Recognition,1973. [2] 㣤ᓥὈⶶ, “䝟䝍䞊䞁ㄆ㆑”, 㟁Ẽ䞉㟁ᏊᕤᏛ⣔43, 䝁䝻䝘♫,1973. [3] 䜶䝹䝑䜻䞉䜸䝲ⴭ, ᑠᕝⱥග, బ⸨ㄔヂ, “䝟䝍䞊䞁ㄆ㆑䛸㒊ศ✵㛫ἲ”, ⏘ᴗᅗ᭩,1986. [4] ๓⏣㈼୍, Ώ㎶㈆୍, “ᒁᡤⓗᵓ㐀䜢ᑟධ䛧䛯䝟䝍䞊䞁䞉䝬䝑䝏䞁䜾ἲ”, ಙᏛㄽ(D), vol.J68-D, no.3, pp.345-352, 1985. [5] O.Yamaguchi, K. Fukui, K. Maeda, “Face Recognition using Temporal Image Sequence”, Proc. of the third International Conference on Automatic Face and Gesture Recognition, pp.318-323, 1998. [6] ๓⏣ⱥస, ᮧ℩ὒ, “䜹䞊䝛䝹㠀⥺ᙧ㒊ศ✵㛫ἲ䛻䜘䜛䝟䝍䞊䞁ㄆ㆑”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.600-612, 1999. [7] ὠ⏣ᏹ, “䝠䝹䝧䝹䝖✵㛫䛻䛚䛡䜛㒊ศ✵㛫ἲ”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.592-599, 1999. [8] ᆏ㔝㗦, Ṋᕝ┤ᶞ, ୰ᮧኴ୍, “᰾㠀⥺ᙧ┦㒊ศ✵㛫ἲ䛻䜘䜛≀యㄆ㆑䇿, ಙᏛㄽ(D-II),vol.J84-D,no.8,pp.1549-1556,2001. [9] ᕷ㔝ᑗႹ, ᆏ㔝㗦, ᑠᯇᑦஂ, “᰾㠀⥺ᙧ┦㒊ศ✵㛫ἲ䛻䜘䜛ヰ⪅ㄆ㆑”, ಙᏛㄽ(D-II),vol.J88-D-II,no.8,pp.1331-1338,2005 [10] ⚟ᗈ, ᒣཱྀಟ, 㕥ᮌ⸅, ๓⏣㈼୍, “ไ⣙┦㒊ศ✵㛫ἲ䜢⏝䛔䛯⎔ቃኚື䛻䝻䝞䝇䝖䛺㢦⏬ീㄆ㆑- ↷᫂ኚື䜢ᢚ䛘䜛ไ⣙㒊 ✵㛫䛾Ꮫ⩦-”, ಙᏛㄽ(D-II), vol.J82-D-II, no.4, pp.613-620, 1999. [11] ⚟ᗈ, ᒣཱྀಟ, “୍⯡ᕪศ㒊ศ✵㛫䛻ᇶ䛵䛟ไ⣙┦㒊ศ✵㛫ἲ”, ಙᏛㄽ(D-II), vol.J87-D-II, no.8, pp.1622-1631, 2004. [12] K. Fukui, O. Yamaguchi, “ Face recognition using multiviewpoint patterns for robot vision”,11th International Symposium of Robotics Research (ISRR’03), pp.192-201, springer, 2005. [13] T. Kawahara, M. Nishiyama, T. Kozakaya, O. Yamaguchi “Face recognition based on whitening transformation of distribution of subspaces”, Subspace 2007, pp.97-103, 2007 [14] ᒣཱྀಟ, Ἑཎᬛ୍, “ⓑⰍ┦㒊ศ✵㛫ἲ䛻䛚䛡䜛≉ᚩ㑅ᢥ䛻㛵䛩䜛⪃ᐹ”,ಙᏛᢏሗ, vol.109,no.470, PRMU2009-269, pp. 211-216, 2010ᖺ3᭶ [15] ⚟ᗈ, ᒣཱྀಟ, ”䜹䞊䝛䝹㠀⥺ᙧไ⣙┦㒊ศ✵㛫ἲ䛻䜘䜛≀యㄆ㆑”, 㟁Ꮚሗ㏻ಙᏛㄽᩥㄅ(D-II), vol.J88-D-II, no.8, pp.1349-1356, 2005. [16] K. Fukui, B. Stenger, O. Yamaguchi, “A framework for 3D object recognition using the kernel constrained mutual subspace method”, ACCV06, part-I, pp.315-324, 2006. [17] M. Nishiyama, O. Yamaguchi, and K. Fukui, “Face recognition with the multiple constrained mutual subspace method”, In Audio- and Video-based Biometric Person Authentication, pages 71–80, 2005. [18] F. Chatelin, “⾜ิ䛾ᅛ᭷್,” ఀ⌮ṇኵ, ఀ⌮⏤ᐇヂ, 䝅䝳䝥䝸䞁䜺䞊䞉䝣䜵䜰䝷䞊䜽ᮾி, 1993. 27 38 部分空間法研究会2010 概要 使ってみよう!部分空間法 Ausgang 非線形部分空間法 -非線形部分空間法- 1. 何故,非線形部分空間法を考えるのか? 2. 「非線形主成分分析」.ベタな例. 3. 核と核非線形主成分分析 4. 核非線形部分空間法,核非線形相互部分 空間法とその応用 河原智一,坂野 鋭,堀田政二 部分空間法研究会 2010年7月26日 2 何故, 非線形部分空間法を考えるのか? 概要 1. 何故,非線形部分空間法を考えるのか? 2. 「非線形主成分分析」.ベタな例. 3. 核と核非線形主成分分析 4. 核非線形部分空間法,核非線形相互部分 空間法とその応用 • 何だかよくわからないけど「非線形分 布」としか呼びようが無いものが実在す るから. • そういうものが無いのに考えるのはあま り賢い考え方では無い – 今だから白状しますが,僕も昔そういうこと をやっていました. 3 4 非線形分布ってどういうもの? -実験的に- 概要 1. 何故,非線形部分空間法を考えるのか? 2. 「非線形主成分分析」.ベタな例. 3. 核と核非線形主成分分析 4. 核非線形部分空間法,核非線形相互部分 空間法とその応用 "testpca.txt" "trainpca.txt" 平均すると 顔では無い -800 -900 -1000 -1100 -1200 -1300 -1400 -1500 -1600 800 700 600 500 -1000 400 -900 -800 300 -700 -600 -500 200 -400 -300 100 -200 -100 0 0 •画像のあるところが学習データ,+は未知データ •UMIST顔画像DBの画像を主成分分析[1] ⇒非線形分布!? 6 5 39 部分空間法研究会2010 Gnanadesikanの方法(1) 色々な非線形主成分分析 2次の主成分分析(2次元) • Gnanadesikanの方法[3] – 高次多項式への変換を考える. 2次の主成分分析(3次元) • 入江の方法[4] – 多層パーセプトロンの利用 多層パ セプト の利用 3次の主成分分析(2次元) • 90年代まではうまい方法が無かった. • どう,うまくないのでしょう? この様な変換で非線形変換してから普通の主成分分析を行う. 任意の次数の非線形主成分分析が構成出来る. 低次元のデータでは良好に動作する(判別分析への応用例が 8 [5]). 7 Gnanadesikanの方法(2) 概要 次元数が非常に大きくなる.d 次元のデータに 対して2次の非線形主成分分析は 1. 何故,非線形部分空間法を考えるのか? 2. 「非線形主成分分析」.ベタな例. 3. 核と核非線形主成分分析 4. 核非線形部分空間法と核非線形相互部分 空間法 5. 核非線形相互部分空間法の応用 ちなみに3次だと 次行列の対角化を扱うことになる. 原空間が100次元の時,2次の非線形主成分分析 は5150次元の問題になる→使いにくい 簡略版を文字認識に適用した例はある[6]. 9 10 核による非線形化のプロセス 核,核関数,カーネルマシン • 従来からある線形なアルゴリズムを内積だけ の計算に書き換える. • 内積を適切な核と置き換える • 最近話題常識の非線形認識手法[7] . • 元々は60年代のAizermanらの ポテン シャル関数法 [8]. ⇒新非線形アルゴリズム完成! 実際,1998-2005年くらいまではこうした論 文がたくさん見られた.(簡単に量産出来た) • 非線形機械が便利に使える • 色々難しい話もあるけど,出来るだけ 実用的に(難しい話は赤穂[7],前田[9]などを参照). でも「核」って一体何? 11 12 40 部分空間法研究会2010 核とは何か 代数方程式 核とは何か 代数方程式 ここで座標のインデックスを 整数から実数に拡張している. と等価な積分方程式 ここで座標のインデックスを 整数から実数に拡張している. と等価な積分方程式 において k(x, x’)を「核」もしくは「積分核」という. において k(x, x’)を「核」もしくは「積分核」という. -kernel の元々の意味は「種」(www.alc.co.jp ではレベル7) -kernel の元々の意味は「種」(www.alc.co.jp ではレベル7) どうやって利用するんでしょう? ちょっと数学的な準備をします. どうやって利用するんでしょう? ちょっと数学的な準備をします. 13 14 核の展開 核の展開の解釈 変数 代数方程式 積分方程式 を満たす行列(核)は, 固有値,固有ベクトル(関数)を用いて xを の様な高次元(時として無限次元)のベクトルに 変換したものと解釈できる. 核はこの様な高次元空間の内積と考えて良い. ⇒内積の代わりにある核を使うことは その核に対応する非常に高次元の の様に展開出来る. 非線形変換を行ったことと等しい⇒便利 15 ポテンシャル関数法 -最初のカーネルマシン- 16 ポテンシャル関数法の動作(1) "testpca.txt" "trainpca.txt" • m個の学習パターンを全て記憶し -800 -900 -1000 -1100 -1200 -1300 -1400 -1500 -1600 800 700 600 500 -1000 400 -900 -800 300 -700 -600 -500 • を識別関数として用いる. • kとしては 200 -400 -300 100 -200 -100 • 等が用いられる • 類似度 = 内積 → 核と考えると素直に理解 できる. 0 0 複雑な識別面を作ったり,サンプルをぼかして対雑 音性能を上げたりできる •画像のあるところが学習データ.+,×は未知データ 18 •UMIST顔画像DBを利用[1] 17 41 部分空間法研究会2010 ポテンシャル関数法の動作(2) ちょっと改良してみよう m個の学習パターンを全て記憶 ここを改良す る手もある 例えば 例えば, カーネルパラメータ σ により様々な形に密度関数 を近似できる.σが小さいほどデータの情報を重視 した近似になる. こうしてみる.αを変えることで色々な情報処理が出来る じゃあ,どういう風にαを変えるの? ⇒Support Vector Machine, Kernel PCA 19 20 核による非線形化のプロセス (再掲) 従来からある線形の主成分分析(1) 簡単のため, データの重心が原点と一致している場合を考える • 従来からある線形なアルゴリズムを内積 だけの計算に書き換える. • 内積を適切な核と置き換える m個のデータがある場合のn次元データ行列 を考える.普通の主成分分析は分散共分散行列XtXの固有値問題 ⇒新非線形アルゴリズム完成! • このプロセスに従って Kernel PCAを作っ てみましょう. として与えられる.これは n×n 行列の対角化で求解できる. m≪n の場合の解法としてよく知られている通り, 21 22 従来からある線形の主成分分析(2) 従来からある線形の主成分分析(3) グラム行列XXtの固有値問題を考えると,固有ベクトルα, 固有値λは 従って,主成分分析のアルゴリズムは グラム行列 の対角化と得られた固有ベクトルを の解として与えられる. Vとαは で写像して分散共分散行列の 固有ベクトルを計算する. という風に構成出来る. Xを成分で書いて両辺に写像すべきデータをかけると となって全て内積 で書けた という関係で結ばれている[10]. 23 24 42 部分空間法研究会2010 Pseudo code 主成分分析 核非線形主成分分析 • C=D’*D; • [evec,eval]=eig(C) • for i=1:dn 内積を適切な核と置き換える グラム行列は – for j=1:dn 写像は • K(I,j)=exp((D(I,:)D(j :))^2/sigma D(j,:)) 2/sigma ; – end • end • [evec,eval]=eig(K/dn) • for i=1:dn 核を使うとMATLAB等の機 能が使えなくて実装は大 変になることが多い となって Kernel Principal Component analysis 完成! – evecs(:,i)=evec(:,i)/sqr t(eval(i)); • end 25 26 概要 核非線形部分空間法 1. 何故,非線形部分空間法を考えるのか? 2. 「非線形主成分分析」.ベタな例. 3. 核と核非線形主成分分析 4. 核非線形部分空間法,核非線形相互部分 空間法とその応用 最初の Kernel Based Subspace method[11] xが正規化されていると考えると そのものを識別規則として用いることができる. 27 28 物体認識実験の例 -ETH80 animals- 核非線型相互部分空間法 •2自由度で回転する剛 体画像のDB[13]. •(多分)湾曲構造 •文献[14]と同じ実験 条件. •ただしカーネルパラ メタ,辞書側次元数, 入力側次元数,使う 正準角の数は色々変 えて 核な部分空間法が出来たのなら相互部分空間法も 出来るはず, という単純な発想[12]. 辞書側 入力側 従って,基底の内積は 基底の内積が計算出来たので,後は普通の相互部分空間法 29 30 43 部分空間法研究会2010 ETH80 animalsのクラス ETH80物体認識実験結果 堀田先生配布のMSM.m と KMSM.m を用いて実験. Kernelizeしたことで劇的に認識率が向上する. 90% 認識率(%) 認 核非線形相互部分空間法(KMSM.m) 70% 相互部分空間法(MSM.m) 50% 部分空間次元数 31 32 ETH80物体認識実験結果 最後に注意事項 • 今回の実験は簡単のため,入力側,辞書 側次元数を同じにしているが色々パラ メータを振ったり,前処理をMATLAB Toolboxに変えたりすると認識率が変わる • 配布プログラムでいろいろ試してくださ い(最後に堀田先生から説明がありま す) • これまで最高 99.7% 詳細はPRMU/CVIM9月 研究会にて発表予定. • 核非線形(相互)部分空間法は非線形分布 を相手にした時に高い認識率を達成する. – 柔物体,音声,ジェスチャ認識,宇宙機の異 常検出などにも応用例がある[15-18] . • しかし(当然?),相手が線形の時には無力. – 正面顔,高度な特徴抽出した文字認識問題な どでは認識率が上がらない(下がる場合もあ る). • 処理量は大.実装も面倒. 33 34 参考文献 Thank you for your attention! • • • • • • • • • • • • Let’s use Subspace Method!! • • • • • • 35 [1] D. B. Graham and N. S. Allinson, ”Characterizing Virtual Eigensignatures for General Purpose Face Recognition, ”in H.Wechsler, et al. ed. ”Face Recognition From Theory to Applications ”, Springer Verlag, (1998) [2]村瀬洋,S. Nayer, 2次元照合による3次元物体認識―パラメトリック固有空間法―,電子情報通信学会論文誌 D, Vol.J77-D2, No.11, pp.2179-2187 , 1994 [3] R. ニャナデシカン, 統計的多変量データ解析, 日科技連, 1979 [4] 入江 文平 川人 光男 ,多層パーセプトロンによる内部表現の獲得, 電子情報通信学会論文誌 D Vol.J73-D2 No.8 pp.11731178, 1990.論文中では「特徴抽出」という言い方をしているがやっていることは間違いなく非線形主成分分析である. [5]佐藤新,坂野鋭,松永務, 非線形構造に着目した識別ルール抽出法, 信学技報PRMU2003-34,(2003.6.20) [6]坂野 鋭, 横塚 志行, 木田 博巳, 非線形主成分分析による投影距離法, 画像の認識と理解シンポジウム MIRU'92, (1992),電子情報 通信学会,情報処理学会 [7]赤穂昭太郎:カーネル多変量解析-非線形データ解析の新しい展開, 岩波書店(2008). [8] Aizerman, M. A., Braverman, E. M. and Rozonoer, L. I.: 学習とパタ-ン認識: パタ-ン認識と学習制御: 機械学習理論におけ るポテン ャル関数法(原著露語)( るポテンシャル関数法(原著露語)(1970),(共立出版(1978)). ),(共立出版( )) [9]藤吉弘亘,山下隆義,岡田和典,前田英作,ノジク・ヴァンソン,石川 尋代,ドゥソルビエ・フランソワ, コンピュータビジョン 最先端ガイド2 ―Mean-Shift, Kernel Method, Local Image Features, GPU―, アドコムメディア,(2010) [10] C. M. ビショップ , パターン認識と機械学習 下 - ベイズ理論による統計的予測,シュプリンガー・ジャパン,(2008) [11]前田 英作, 村瀬 洋, カーネル非線形部分空間法によるパターン認識, 信学論,Vol.J82-D2 No.4 pp.600-612, (1999) [12]坂野 鋭, 武川直樹,中村太一, 核非線形相互部分空間法による物体認識, 電子情報通信学会論文誌D-II J84-D-II,pp. 15491556,(2001) [13]Bastian Leibe and Bernt Schiele, Analyzing Appearance and Contour Based Methods for Object Categorization. in Proc. CVPR03, (2003) [14]福井和広, 山口修, "カーネル非線形制約相互部分空間法による物体認識", 電子情報通信学会論文誌 (D-II), vol.J88-D-II, no.8, pp.1349-1356, (2005). [15]市野将嗣,坂野鋭,小松尚久, 核非線形相互部分空間法による話者認識, 電子情報通信学会論文誌D-II,J88-D-II,(2005) [16]市野将嗣,坂野鋭,小松尚久, 話者認識における核非線形相互部分空間法の適用と有効性に関する一考察, 画像の認識・理解シン ポジウム(MIRU2008)サテライトワークショップ部分空間法研究会Subspace2008, 2008年7月 [17] B. Zhang, et. al, Combination of selforganization map and kernel mutual subspace method for video surveillance, Advanced Video and Signal Based Surveillance, 2007. p. 123 [18]藤巻,矢入, 町田,カーネル特徴空間における正準角を利用した宇宙機異常検知法,第20回人工知能学会全国大会,2A3-1, 2006 36 44 部分空間法研究会2010 䝇䜿䝆䝳䞊䝹 㒊ศ✵㛫ἲ◊✲ 2010 䛆䝏䝳䞊䝖䝸䜰䝹䛇 1. ⊂❧ᡂศศᯒ䛻䛴䛔䛶 z ᐃᘧ䠈Ṕྐ䠈ᛂ⏝ ᇌЎЎௌλᧉ ῍᪦ỉЎᩉử᫆ểẲề῍ 2. 㡢※ศ㞳䛾䝕䝰 3. ಙྕ䛾⤫ィⓗᛶ㉁ [2010ᖺ7᭶26᪥] 4. z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮ ⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮 z ⓑⰍ 䠇 FastICA NTT 䝁䝭䝳䝙䜿䞊䝅䝵䞁⛉Ꮫᇶ♏◊✲ᡤ z ᭱ᑬ᥎ᐃἲ by Natural Gradient ⃝⏣ ᏹ z ୍⯡ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ 1 2 ⊂❧ᡂศศᯒ ⊂❧ᡂศศᯒ (ICA: Independent Component Analysis) • ΰ䛦䜚ྜ䛳䛯ಙྕ 䛛䜙ඖ䛾ಙྕ䜢ྲྀ䜚ฟ䛩 • 䛹䛾ᵝ䛻ΰ䛦䛳䛯䛛䛻㛵䛩䜛ሗ 䛿⏝䛷䛝䛺䛔 + + + + ඖ䛾ಙྕ䛿䛔䛻 ⊂❧䛷䛒䜛䛸௬ᐃ ඖ䛾ಙྕ䛿⊂❧ ౫Ꮡ㛵ಀ䛜䛒䜛 䛺䜛䜉䛟⊂❧䛻䛩䜛 • ୍᪉䛛䜙᪉䛜 ᥎ 䛷䛝䛺䛔 • ୍᪉䛛䜙᪉䛜 ᥎ 䛷䛝䜛 • ྠ䛨ᡂศ䛜᪉ 䛻ධ䛳䛶䛔䜛 • ලయⓗ䛺ᡭ㡰䛿? 䠄ᮏ䝏䝳䞊䝖䝸䜰䝹䛷 ㄝ᫂䠅 䜢䛔䛻 ⊂❧䛻䛩䜛 3 4 ⊂❧ᡂศศᯒ 䇷 ᐃᘧ ⊂❧ᡂศศᯒ • Ṕྐ • Iಶ䛾※ಙྕ s 䛜ΰྜ⾜ิ H 䛻䜘䜚ΰ䛦䜚ྜ䛔䠈 Jಶ䛾ほ ಙྕ x 䛜 T ಶᚓ䜙䜜䛯䛸䛩䜛䠊 » 1980ᖺ௦: 䝣䝷䞁䝇䛾◊✲⪅䜙୰ᚰ • 㠀⥺ᙧ↓┦㛵䠈㧗ḟ⤫ィ㔞 » 1990ᖺ௦୰┙䛛䜙: ୡ⏺ⓗ䛺ᗈ䛜䜚 • ⌮ㄽⓗᯟ⤌䜏ᐇ䠈ຠ⋡ⓗ䛺䜰䝹䝂䝸䝈䝮 • ศ㞳⾜ิ W 䛻䜘䜚ศ㞳ಙྕ y 䜢⏕ᡂ䛩䜛䠊 » ᅜ㝿㆟ ICA: 1999ᖺ䛛䜙1ᖺ༙ẖ䛻1ᅇ㛤ദ • ᛂ⏝ » ಙྕศ㞳: 㡢䠈⬻Ἴ䠈↓⥺ಙྕ䠈䛺䛹 • W 䛾ィ⟬䛿ほ ಙྕ x 䛾䜏䛛䜙⾜䛖䠊Iಶ䛾 ศ㞳ಙྕ y 䛜䛔䛻⊂❧䛻䛺䜛䜘䛖䛻䛩䜛䠊 • BSS: Blind Source Separation » ≉ᚩᢳฟ䠄ྍኚᇶᗏ䠅: ⮬↛⏬ീ䠈㡢䠈䛺䛹 5 45 6 部分空間法研究会2010 㡢䛾ศ㞳 䝤䝷䜲䞁䝗㡢※ศ㞳 • 㡢䛾䜏䜢ᡭ䛜䛛䜚䛸䛧䛶ΰ䛦䛳䛯㡢䜢ศ㞳 • 䜹䜽䝔䝹䝟䞊䝔䜱䞊ຠᯝ 䋽 どぬ䠄䜹䝯䝷䠅䛻㛵䜟䜛ሗ䛿⏝䛷䛝䛺䛔 ே䛾⪺䛝ศ䛡⬟ຊ • ఱ䜢ᡭ䛜䛛䜚䛻䛩䜛䛛? » 㡢ኌ: ኌ㉁䠈ヰ䛧᪉䛾≉ᚩ䠈ḟ䛻᮶䜛ゝⴥ䜢ண » ᴦჾ: 㡢䛾㧗䛥䠋≉ᚩ䠈䝸䝈䝮䠈⧞䜚㏉䛧䝟䝍䞊䞁 » ✵㛫ሗ: 㡢※䛾᪉ྥ䠈㊥㞳 䊹 」ᩘ䝬䜲䜽䠄⪥䠅 • ศ㞳᪉ἲ » ⥺ᙧ䝣䜱䝹䝍: 䝡䞊䝮䝣䜷䞊䝬䠈⊂❧ᡂศศᯒ » 㠀⥺ᙧฎ⌮: 㛫࿘Ἴᩘ䝬䝇䜻䞁䜾 • 㡢ኌㄆ㆑ 䝬䜲䜽䝻䝩䞁䛸ཱྀ䛾㛫䛾㊥㞳䛾ቑຍ䛻䜘䜚ΰධ 䛧䛶䛟䜛ጉᐖ㡢䜢ᢚᅽ䞉㝖ཤ • 㡢ᴦ䠋ᴦჾ㡢ศᯒ 䠅 䜸䞊䜿䝇䝖䝷䛷୍䛴୍䛴䛾ᴦჾ䛾ᵝᏊ䜢ᢕᥱ 7 8 䝤䝷䜲䞁䝗㡢※ศ㞳䛾ᐇᶵ䝕䝰 [1,2,3] 䛝䛺ኌ䛷ㄞ䜣䛷䛟䛰䛥䛔 • ே䛾ே䛻ྠ䛻ႅ䛳䛶䜒䜙䛔䜎䛩䠄8⛊㛫䛠䜙䛔䠅 1. 䝁䞁䝢䝳䞊䝍䛾⪥䛸ே㛫䛾⪥䛸䛷䚸ᶵ⬟ⓗ䛻 䛝䛟㐪䛖Ⅼ䛿䚸䜒䛾䜢⪺䛝ศ䛡䜛⬟ຊ䛷䛩䚹 • 䛭䛾ΰ䛦䛳䛯ኌ䜢㘓㡢䛧䜎䛩 • 㘓㡢䛧䛯㡢䜢⪺䛔䛶䛟䛰䛥䛔 䠎䛴䛾䝬䜲䜽䝻䝩䞁 2. ┠ᶆ䛿䚸୍ᗘ䛻10ே䛾ヰ䜢⪺䛝ศ䛡䛯䛸 ఏ䛘䜙䜜䜛䚸⪷ᚨኴᏊ୪䜏䛾ฎ⌮⬟ຊ䛷䛩䚹 • 䝁䞁䝢䝳䞊䝍䛷ฎ⌮䜢䛧䜎䛩 • ฎ⌮ᚋ䛾ศ㞳㡢䜢⪺䛔䛶䛟䛰䛥䛔 EDIROL by Roland 3. 䛂䝤䝷䜲䞁䝗㡢※ศ㞳ᢏ⾡䛃䛸䛿䚸ᐇ⎔ቃ䛻 䛚䛔䛶䚸ΰ䛦䜚ྜ䛳䛯㡢䛛䜙┠ⓗ䛾㡢䛰䛡䜢 ྲྀ䜚ฟ䛩ᢏ⾡䛷䛩䚹 R-09 24bit WAVE/MP3 Recorder 9 10 䝇䜿䝆䝳䞊䝹 1. 㡢䛾⤫ィⓗᛶ㉁ ⊂❧ᡂศศᯒ䛻䛴䛔䛶 㡢※ศ㞳䛾䝕䝰 3. ಙྕ䛾⤫ィⓗᛶ㉁ ᖜ್ ᖜ್ z ᐃᘧ䠈Ṕྐ䠈ᛂ⏝ 2. ᣑ䛩䜛䛸 ᖜ್ z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮ 4. 䝠䝇䝖䜾䝷䝮 㡢ኌ䛾Ἴᙧ ⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮 z ⓑⰍ 䠇 FastICA z ᭱ᑬ᥎ᐃἲ by Natural Gradient z ୍⯡ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ ᖜ್ 11 46 12 ᖜ್ 部分空間法研究会2010 㡢䜢ΰ䛬䛶䜏䜛 Ἴᙧ ᖜ್ s Ἴᙧ s 13 14 ୰ᚰᴟ㝈ᐃ⌮ ΰ䛬䛯㡢䛾⤫ィⓗᛶ㉁ (Central Limit Theorem) [4] 䝠䝇䝖䜾䝷䝮 • 䜒䛸䜒䛸䛾ಙྕ䛜䛹䛾䜘䛖䛺⤫ィⓗᛶ㉁䜢ᣢ䛳䛯䜒䛾 䛷䛒䜜䠈ከ䛟䛾ಙྕ䜢㊊䛧ྜ䜟䛫䜛䛸䠈䛭䛾⤫ィⓗᛶ ㉁䛿ṇつศᕸ䛻㏆䛵䛟䠊 ᖹᆒ 0 ศᩓ 1 䛾ṇつศᕸ䛾 ☜⋡ᐦᗘ㛵ᩘ ᖜ್ 䊻㉥䛔⥺䛻㏆䛵䛔䛶䛟䜛 15 16 ṇつศᕸ䠄䜺䜴䝇ศᕸ䠅 䜶䞁䝖䝻䝢䞊䠄ᖹᆒሗ㔞䠅 • 䛒䜛㇟䛾ሗ㔞 • ☜⋡ᐦᗘ㛵ᩘ 䜑䛳䛯䛻㉳䛣䜙䛺䛔䛣䛸 䜋䛹䚸ሗ㔞䛿䛝䛔 • 䜶䞁䝖䝻䝢䞊 • ⤫ィᏛ䛻䛚䛔䛶䜒䛳䛸䜒௦⾲ⓗ䛺ศᕸ » ᖹᆒ 䛸ศᩓ 䛜Ỵ䜎䜜䜀୍ព䛻ᐃ䜎䜛 • 䜒䛳䛸䜒䛂䝷䞁䝎䝮䛃䛺ศᕸ » ୰ᚰᴟ㝈ᐃ⌮ » ከ䛟䛾㇟䜢䜎䛸䜑䛯䜒䛾䠄ಙྕ䚸ศᕸ䚸㞟ྜ䠅䛷䛾 ሗ㔞䛾ᖹᆒ » ྠ䛨ศᩓ䜢ᣢ䛴ศᕸ䛾୰䛷䜶䞁䝖䝻䝢䞊᭱ » ṇつศᕸ䛾ሙྜ 17 18 47 部分空間法研究会2010 ΰ䛬䛯㡢䛾䜶䞁䝖䝻䝢䞊 㡢※䛾⤫ィⓗᛶ㉁ • ᡃ䚻䛜ᢅ䛖ព䛾䛒䜛㡢 » 㡢ኌ䠈㡢ᴦ䠈䛺䛹 N=1 » 0䛾㢖ᗘ䛜ከ䛔 • 䝷䝥䝷䝇ศᕸ䛻䜘䜛䝰䝕䝹 㡢※ ᩘN 1 2 8 16 ṇつ ศᕸ 䝷䝥䝷䝇ศᕸ 䜶䞁䝖 1.194 1.332 1.394 1.407 1.419 䝻䝢䞊 䜺䜴䝇ศᕸ ᖹᆒ: ศᩓ: ศᩓ䜢䠍䛻ṇつ䛧䛯 19 20 㡢※䛾⤫ィⓗᛶ㉁ 䜶䞁䝖䝻䝢䞊䛾㏆ఝィ⟬ • ┿䛾ศᕸ䜢㏆ఝ䛷䛝䜛ศᕸ䜢⏝䛔䜛 䝠䝇䝖䜾䝷䝮 㡢※ᩘN ᖜ್ 㟷䛔⥺䛿䝷䝥䝷䝇ศᕸ 1 16 ṇつ ศᕸ 1.194 1.332 1.394 1.407 1.419 Ⰻዲ䊻 䝷䝥䝷䝇ศᕸ 䛻䜘䜛㏆ఝ 1.286 1.356 1.420 1.457 1.474 ศᩓṇつ䛾 䛯䜑↓ᛂ䊻 䜺䜴䝇ศᕸ䛻 䜘䜛㏆ఝ 1.419 1.419 1.419 1.419 1.419 22 䝇䜿䝆䝳䞊䝹 ᩓᕸᅗ ⊂❧ᡂศศᯒ䛻䛴䛔䛶 z ᐃᘧ䠈Ṕྐ䠈ᛂ⏝ 2. 㡢※ศ㞳䛾䝕䝰 3. ಙྕ䛾⤫ィⓗᛶ㉁ s1 z ಙྕ䜢ΰ䛬䜛 䠉 ୰ᚰᴟ㝈ᐃ⌮ 4. 8 䜶䞁䝖䝻䝢䞊 21 1. 2 s2 ⊂❧ᡂศศᯒ䛾䜰䝹䝂䝸䝈䝮 z ⓑⰍ 䠇 FastICA z ᭱ᑬ᥎ᐃἲ by Natural Gradient z ୍⯡ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ 23 24 48 部分空間法研究会2010 ⓑⰍ 䠇 FastICA [1] ※ಙྕ䛸ΰྜಙྕ䛾ᩓᕸᅗ ※ಙྕ ΰྜಙྕ ΰྜ⾜ิ ⓑⰍಙྕ ⓑⰍ⾜ิ 䠄ᴃ䜢䛻䠅 ศ㞳ಙྕ 䝴䝙䝍䝸⾜ิ 䠄ᅇ㌿䠅 FastICA 25 26 ┦㛵䛸┦㛵⾜ิ ┦㛵⾜ิ䛾ᅛ᭷䝧䜽䝖䝹䛸ᅛ᭷್ • ┦㛵 • ┦㛵⾜ิ 0.16 0.73 1.24 0.91 27 28 ⓑⰍ ⓑⰍ⾜ิ䛾ồ䜑᪉ ΰྜಙྕ 䛻䜘䜚 ⓑⰍಙྕ 䛸䛺䜛ⓑⰍ⾜ิ 䜢ồ䜑䜛 z 䛾┦㛵⾜ิ䜢ィ⟬䛧䛶䜏䜛䛸 • ┦㛵⾜ิ䛜༢⾜ิ 䛻䛺䜛䜘䛖䛻ኚ 䛸䛺䜛䠊 䛸ᅛ᭷್ศゎ䛩䜜䜀 ┦㛵⾜ิ䛾ᅛ᭷್ศゎ » ↓┦㛵 » ศᩓ䛾ṇつ ┦㛵⾜ิ ᅛ᭷್ ᅛ᭷䝧䜽䝖䝹 䛣䛣䛷 ⓑⰍ⾜ิ 䠄ᴃ䜢䛻䠅 䜢‶䛯䛩 䠄ṇつ┤ᇶᗏ䠅 䛜ồ䜑䜛䜒䛾䛸䛺䜛 29 49 30 部分空間法研究会2010 FastICA [1] 䝴䝙䝍䝸ኚ䠄ᅇ㌿䠅 ⓑⰍಙྕ • ๓ฎ⌮䛻ⓑⰍ䠊ゎ✵㛫䜢䝴䝙䝍䝸⾜ิ U 䛻㝈ᐃ ศ㞳ಙྕ • 㠀⥺ᙧ㛵ᩘ 2ḟඖ䛾ሙྜ 䛾ᮇᚅ್䜢᭱ᑠ » 䜶䞁䝖䝻䝢䞊᭱ᑠ: • ᇶᮏ䛿䠈ศ㞳ಙྕ 䛜┿䛾ศᕸ䛾㏆ఝ 䜢䠍䛴䛪䛴ồ䜑䛶䛔䛟 ᮰䛩䜛䜎䛷௨ୗ䜢⧞䜚㏉䛩 䜶䞁䝖䝻䝢䞊 㛵ᩘG䛾ᖹᆒ ศ㞳ಙྕ䛾ィ⟬ 䝙䝳䞊䝖䞁ἲ䛻䜘䜛G䛾᭱㐺 䜾䝷䝮䞉䝅䝳䝭䝑䝖䛾┤ 䝷䝥䝷䝇ศᕸ䛻䜘䜛 ሗ㔞䛾㏆ఝ 䝜䝹䝮䠍䛻ṇつ 31 32 FastICA䜰䝹䝂䝸䝈䝮䛾ᵝᏊ 㠀⥺ᙧ㛵ᩘG䛻䛴䛔䛶 • FastICA䛷⏝䛔䜛䛻䛿䠈୍㝵ᚤศ䠈㝵ᚤศ䛜ᚲせ • ㉥䠄䕕䠅 » 䜢ึᮇ್ » G䛾᭱㐺: ཎⅬ䛻㏆䛵䛔䛶䛔䜛䜒䛾 • 䝷䝥䝷䝇ศᕸ䛻䜘䜛G䛿䠈୍㝵ᚤศ䛜㐃⥆䛸䛺䜚㒔ྜ » 䝜䝹䝮1䛻ṇつ: ༢ୖ ➢ྕ䛭䛾䜒䛾 » 5ᅇ䛾⧞䜚㏉䛧䛷Ⰻዲ䛺ゎ䜈 • ௦䜟䜚䛻䠈㝵ᚤศ䜒ྍ⬟䛺㛵ᩘ䜢⏝ • ⥳䠄䕧䠅 » 䃐䛿0.1䛺䛹ᑠ䛥䛺್ 䃐= 0䛷䝷䝥䝷䝇ศᕸ䛻䜘䜛G䛸䛺䜛 䜢ึᮇ್ » ┤䛻䜘䜚䠈1ᅇ䛷ゎ䛻฿㐩 33 34 ⓑⰍ 䠇 FastICA 䜎䛸䜑 ᭱ᑬ᥎ᐃἲ [2,3] • ほ ಙྕ • ᡭ㡰 䛻ᑐ䛩䜛 W 䛾ᑬᗘ » ほ ಙྕ䜢ⓑⰍ䠊┦㛵⾜ิ䛾ᅛ᭷್ศゎ䛻䜘䜛 • ⥺ᙧኚ䛸☜⋡ᐦᗘ㛵ᩘ » 䝴䝙䝍䝸ኚ䠊FastICA䛻䜘䜛ຠ⋡ⓗ᭱㐺 • ⊂❧ᡂศศᯒ䛾ᐃᘧ • ศ㞳ಙྕ y 䛾⊂❧ᛶ䜢௬ᐃ 䛻↷䜙䛩䛸 䛿䝷䝥䝷䝇ศᕸ䛺䛹 » ศ㞳⾜ิ䛿 • ௨ୖ䛛䜙ᑟ䛛䜜䜛ᑐᩘᑬᗘ䜢᭱䛩䜛 W 䜢ồ䜑䜛 • 㝈ᐃ䛥䜜䛯ᙧ ḟ䛻䠈W 䛾ᙧ䜢㝈ᐃ䛧䛺䛔䜰䝹䝂䝸䝈䝮䜢⤂ 35 36 50 部分空間法研究会2010 Natural Gradient [4,5] ᭱ᑬ᥎ᐃἲ • 䝃䞁䝥䝹ᩘ T 䛷䜚䠈᭱䛩䜉䛝┠ⓗ㛵ᩘ䜢タᐃ • ໙㓄ἲ䛷䛿䠈 W 䛾㏫⾜ิィ⟬䛜གྷ • Natural gradient » ཧ⪃: W 䜢䝴䝙䝍䝸⾜ิ䛻㝈ᐃ䛩䜜䜀FastICA䛸➼౯ • ໙㓄ἲ䛻䜘䜚 W 䜢᭱㐺 䛿㐺ษ䛻タᐃ䛥䜜䛯 䝇䝔䝑䝥䝃䜲䝈 » ㏫⾜ิィ⟬䛜せ » Equivariance Property • ΰྜ⾜ิ H 䛾ᙳ㡪䠄singular䛻㏆䛟Ᏻᐃ䛺䛹䠅䜢ཷ䛡䛺䛔 䛾ලయⓗ䛺ᙧ • ICA䜰䝹䝂䝸䝈䝮 䠉 ௨ୗ䜢᮰䜎䛷⧞䜚㏉䛩 䝷䝥䝷䝇ศᕸ 㠀⥺ᙧ㛵ᩘG 37 38 Natural Gradient䛻䜘䜛᭱㐺䛾ᵝᏊ • ㉥䠄䕕䠅: 䜢ึᮇ್ • ⥳䠄䕧䠅: 䜢ึᮇ್ 䜒䛖ᑡ䛧㐪䛳䛯ほⅬ䛛䜙䛾ᡭἲ • 䛣䜜䜎䛷ㄝ᫂䛧䛯⊂❧ᡂศศᯒ » ṇつศᕸ䛛䜙㐲䛦䛡䜛䠈䜶䞁䝖䝻䝢䞊䜢ῶ䜙䛩 • ほ ಙྕ䛾ⓑⰍ䛾᭷↓䛻㛵䜟䜙䛪䠈Ⰻዲ䛻ゎ䛻᮰ » ṇつศᕸ䛸䛿␗䛺䜛ศᕸ䜢௬ᐃ䛧䠈᭱ᑬ᥎ᐃ Non-gaussianity • ಙྕ䛾ྠ↓┦㛵䛻䜘䜛ศ㞳᪉ἲ » ḟ⤫ィ㔞䠄䠙┦㛵⾜ิ䠅䛾䜏䜢⏝ » ಙྕ䛾㠀ᐃᖖᛶ䛻ᇶ䛵䛟 » ᗈ䛔ព䛷䛾⊂❧ᡂศศᯒ䠄ICA䠅 = BSS Non-stationarity 39 40 ୍⯡ᅛ᭷್ศゎ䛻䜘䜛⡆౽䛺᪉ἲ [6] ྠ↓┦㛵 • ほ ಙྕ x 䛛䜙䛴䠄௨ୖ䠅䛾༊㛫䜢タᐃ • 䛴䛾ᑐゅ⾜ิ䜢ู䛾ᑐゅ⾜ิ䛷㛵㐃䛡 » 䛸䛧䛶䠈1) య 䛸 2) ᭱ึ1/4 • D 䜢ᾘཤ䛩䜛䛸 ୍⯡ᅛ᭷್ၥ㢟䛾ᙧ䛻䛺䜛 • 䛭䜜䜙䛾༊㛫䛻㛵䛧䛶┦㛵⾜ิ䜢ィ⟬ W 䛾㏫⾜ิ䜢 ᕥ䛛䜙䛛䛡䜛 • ศ㞳ಙྕ 䛾䛭䜜䛮䜜䛾༊㛫䛾┦㛵⾜ิ䜢 ᑐゅ䛩䜛 W 䜢ศ㞳⾜ิ䛸䛧䛶ồ䜑䜛 • ୍⯡ᅛ᭷್ศゎ䛿ከ䛟䛾ሙྜ䠈䝹䞊䝏䞁䛜䛒䜛 » 䛘䜀Matlab䛷䛿 [E, D] = eig(Ra, Rq); ᑐゅ⾜ิ • ᚓ䜙䜜䛯 E 䜢⏝䛔䛶䠈 41 䛜ศ㞳⾜ิ 42 51 部分空間法研究会2010 ྠ↓┦㛵䛾┤ឤⓗㄝ᫂ ᭱ึ1/4༊㛫䜢 ྲྀ䜚ฟ䛩䛸┦㛵䜢 ᣢ䛴䛣䛸䛜Ⓨぬ య䜢ⓑⰍ ྠ↓┦㛵䛜䛖䜎䛟⾜䛛䛺䛔ሙྜ ᭱ึ1/4༊㛫䛜 ↓┦㛵䛻䛺䜛䜘䛖 䛻ᅇ㌿ య䜢ⓑⰍ ᭱ึ1/2༊㛫䛷䜒 ᪤䛻䛒䜛⛬ᗘ ↓┦㛵䛻䛺䛳䛶䛔䜛 ᭱ึ1/2༊㛫䛜 ↓┦㛵䛻䛺䜛䜘䛖 䛻ᅇ㌿ 䋻 ศ㞳䛜༑ศ 䋻 ศ㞳䜢㐩ᡂ 43 44 ྠ↓┦㛵 䜎䛸䜑 • ༊㛫䛾㑅ᢥ䛜㔜せ • ୰ᚰᴟ㝈ᐃ⌮ » ┦㛵⾜ิ䛜༑ศ䛻␗䛺䛳䛶䛔䜛䛣䛸 » 䛹䜣䛹䜣ΰ䛬䜜䜀ṇつศᕸ䛻㏆䛵䛟 • ༊㛫䛾ᩘ䜢ቑ䜔䛩䛣䛸䛷ᡂຌ䛧䜔䛩䛟䛺䜛 » 䛯䛰䛧༊㛫䛜3ಶ௨ୖ䛻䛺䜛䛸䠈୍⯡ᅛ᭷್ศゎ 䛾⡆౽䛺᪉ἲ䛿⏝䛷䛝䛺䛔 • ⊂❧ᡂศศᯒ » ⊂❧ 䠙 䜶䞁䝖䝻䝢䞊ῶ 䠙 ṇつศᕸ䛛䜙㐲 » ព䛾䛒䜛㡢䛿䝷䝥䝷䝇ศᕸ䛷㏆ఝ䛷䛝䜛 » ຠ⋡ⓗ䜰䝹䝂䝸䝈䝮: FastICA䠈Natural gradient » Joint Diagonalization • ᐇ⎔ቃ䛷ΰ䛦䛳䛯㡢䜢ศ䛡䜛䛯䜑䛻䛿䠄ᐇᶵ䝕䝰䠅 ᵝ䚻䛺༊㛫 » ␚䜏㎸䜏ΰྜ䠄ṧ㡪䠅䜈䛾ᑐฎ䛜ᚲせ 䛾┦㛵⾜ิ䜢ྠ䛻ᑐゅ • 㛫࿘Ἴᩘ㡿ᇦ䛷䛾ᡭἲ: 」⣲ᩘICA䛺䛹 45 46 ࿘Ἴᩘ㡿ᇦBSS䛻㛵䜟䜛Ⓨ⾲ᩥ⊩ ཧ⪃ᩥ⊩ H. Sawada, R. Mukai, S. Araki, S. Makino, "Polar Coordinate based Nonlinear Function for Frequency Domain Blind Source Separation," IEICE Trans. Fundamentals, vol.E86-A, no.3, pp. 590-596 (2003) [1] A. Hyvärinen, J. Karhunen and E. Oja, Independent Component Analysis, Wiley-Interscience (2001) [2] A. Bell and T. Sejnowski, “An information-maximization approach to blind separation and blind deconvolution,” Neural Computation, 7(6):1129-1159 (1995) H. Sawada, R. Mukai, S. Araki, S. Makino, "A Robust and Precise Method for Solving the Permutation Problem of Frequency-Domain Blind Source Separation," IEEE Trans. Speech and Audio Processing, vol.12, no. 5, pp. 530-538 (2004) [3] J.-F. Cardoso, “Infomax and maximum likelihood for blind source separation,” IEEE Signal Processing Letters, 4(4):112-114 (1997) H. Sawada, S. Araki, S. Makino, "Frequency-Domain Blind Source Separation," in Blind Speech Separation, S. Makino, Te-Won Lee, and H. Sawada, Eds, Springer (2007) [4] S. Amari, A. Cichocki and H.H. Yang, “A new learning algorithm for blind signal separation,” In Advances in Neural Information Processing Systems (NIPS), vol. 8, pp. 757-763 (1996) H. Sawada, S. Araki, S. Makino, "MLSP 2007 Data Analysis Competition: Frequency-Domain Blind Source Separation for Convolutive Mixtures of Speech/Audio Signals," Proc. IEEE International Workshop on Machine Learning for Signal Processing (MLSP), pp. 45-50 (2007) [5] A. Cichocki and S. Amari, Adaptive Blind Signal and Image Processing, Wiley (2002) [6] L. Parra and P. Sajda, “Blind source separation via generalized eigenvalue decomposition,” Journal of Machine Learning Research, 4:1261-1269 (2003) 47 48 52 部分空間法研究会2010 Ⴘഏ 1. ᩼͌ᘍЗ܇׆ЎᚐίNMFὸểỊ ᩼͌ᘍЗ܇׆Ўᚐλᧉ ῍᪦᪪̮ӭϼྸử᫆ểẲề῍ ದ˴Ệ̅ảỦỉẦί᪦᪪̮ӭϼྸử᫆ểẲềὸ ದỄỉợạễࣱឋầẝỦỉẦ ದỄỉợạỆ൭ỜỦỉẦ ದወᚘἴἙἽểẲềỉᚐểỴἽἆἼἌἲỉɟᑍ҄ ದ˂ỉ২ᘐểỄạ᧙̞ẲềẟỦỉẦ ʒࢀޢԧ 2. ᙐእNMF [H. Kameoka et al., 2008] ଐஜᩓ̮ᩓᛅఇࡸ˟ᅈ NTTἅἱἷἝἃὊἉἹὅᅹؕܖᄽᄂᆮ [email protected] ದNMFỆấẬỦբ᫆ໜ ದᚐൿỉẺỜỉỴỶἙỵỴ ದNMFểỄạ᧙̞ẲềẟỦỉẦ ᢿЎᆰ᧓ඥᄂᆮ˟ 2010࠰7உ26ଐ 1 2 ᩼͌ᘍЗ܇׆Ўᚐ(NMF)ểỊ ễặ᩼͌ễỉẦᾎẸỉॖỊᾎ • ἙὊἑᘍЗỉࣱ᩼ • ᩼͌ᘍЗửᾁếỉ᩼͌ᘍЗỉᆢỂᘙྵ – ܱɭမỆỊ᩼͌ἙὊἑầٶẟ ί̊ὸ ἣὁὊἋἬἁἚἽύဒእ͌ύࡇૠύ • ؕࡁᘍЗỉࣱ᩼ – Ẑ᩼͌ἙὊἑỉನᙲእờộẺ᩼͌ἙὊἑ ỂẝỦỔẨ(ỂễẟểཋྸႎỆॖԛửễẰễẟὲ)ẑ ểẟạᎋả૾ • ᘍЗ܇׆Ўᚐỉࣖဇئ᩿ – ἨἻỶὅἛ̮ӭЎᩉ(Blind Signal Separation) ί̊ὸỉ͌ửờẾẺἣὁὊἋἬἁἚἽễỮềᚐỉẲợạầễẟ • ̞ૠᘍЗỉࣱ᩼ – ἁἻἋἑἼὅἂ – ನᙲእỉฆằụ૾ỊẐឱẲምẑỉỚ – ̞ૠᘍЗửἋἣὊἋỆᛔ ݰÆ ؕࡁỉऴإửỴἕἩ 3 4 ̞ૠᘍЗỉࣱ᩼Ệếẟề ̞ૠᘍЗỉࣱ᩼Ệếẟề • ̞ૠầỉ͌ửӕẾềờᑣẟئӳ ؕࡁἫἁἚἽ ᚇยἙὊἑ • ̞ૠầỉ͌ửӕẾềỊễỤễẟئӳ ̞ૠ ؕࡁἫἁἚἽ ᚇยἙὊἑ +) ̞ૠ +) ἋἣὊἋ 5 6 53 部分空間法研究会2010 NMFầဃộủẺᏑ PCAểNMFỉൔ᠋ HH SN BD ᚇยἙὊἑỉ͌רἫἁἚἽ •ဒϼྸЎỂဃộủẺ২ᘐ [D.D. Lee & H.S. Seung, 1999] ίἡỶἡἕἚᵍἋỴἛἻἲᵍἢἋἛἻἲỉ᪦ἣἑὊὅὸ Æᤨೞ –᫊ဒẦỤ᫊ἣὊửਁЈẴỦỉầႸႎ –ಒࣞᐯ˳Ịᾈ࠰ˊЭҞỆႇ[ ئP. Paatero & U. Tapper, 1994] ӲầᾀếỉἫἁἚἽỆࣖݣ •᪦ỉἋἬἁἚἽửဒể ᙸễẲềᢘဇίࢸᡓὸ Æ᪦٣ЎᩉὉᐯѣᜧሁ PCA ؕࡁ [P. Smaragdis et al., 2003] ˌᨀಊỜềٶૠ… •јྙႎễӒࣄỴἽἆἼἌἲ [D.D. Lee & H.S. Seung, 2000] NMF ؕࡁ [D.D. Lee & H.S. Seung, 1999]ợụ৷ቦ ӲỊ[D.P.W Ellis & J. Arroyo, 2004]ợụ৷ቦ 7 8 ˴Ệ̅ảỦỉẦᾎί1/3ὸ ԗඬૠḵ NMFỂ᪦٣ἋἬἁἚἿἂἻἲửЎᚐẲềỚỦ •᪦᪪̮ӭ ჺ᧓ἧὊἼỺ٭੭ ί᧓ԗඬૠЎᚐὸ • ᐯѣᜧ [P. Smaragdis et al., 2003] 㖸ჿ䮀䮡䭶䮏䮴䭷䮰䮧 J.S. Bach: Fuge #16 in G minor ᾉЦ Ệԗඬૠ ỉЎầ ỄủỖỄԃộủềẟỦẦ ฦၮᐩ䬽 䭩䭶䮍䭪䮚䮍䭪 ዌ͌ݣửểỦ Цḵ 䮀䮘䯃䮀(⇹) 䬺䬹 䭚! ԗඬૠḵ ၮᐩ䮀䮡䭶䮏䮲 ૐ䮰䮺䭶䮀䮡䭶䮏䮴䭷䮰䮧 ၮᐩᢙ10 ၮᐩᢙ30 [P. Smaragdis et al., 2003]ợụ৷ቦ ➅䭙䬦䭛䭚䮀䮡䭶䮏䮲 䮘䮆䯃䮺䬛₪ᓧ䬤䭛䭚 9 Цḵ 10 ˴Ệ̅ảỦỉẦᾎί2/3ὸ ˴Ệ̅ảỦỉẦᾎί3/3ὸ •᪦ỉẐឬᚐẑ • ࠖẝụἴἠἻἽ᪦เЎᩉ [P. Smaragdis et al., 2007 ] ˯ἇὅἩἼὅἂἾὊἚỉ̮ӭ [P. Smaragdis & B. Raj, 2007 ] ᪦٣ίܖ፼ἙὊἑὸ ฆӳ̮ӭίἘἋἚἙὊἑὸ ᭗ἇὅἩἼὅἂἾὊἚ̮ӭỉܖ፼ἙὊἑ ἓἵỶἲίܖ፼ἙὊἑὸ ίܭὸ ᭗ԗඬ࠘؏ầࣄΨẰủẺ̮ӭ ӲỊ[P. Smaragdis et al., 2007]ợụ৷ቦ ܭ ӲỊ[P. Smaragdis & B. Raj, 2007]ợụ৷ቦ 12 11 54 部分空間法研究会2010 NMF ỉؕஜբ᫆ • • ỄỮễࣱឋầẝỦỉẦᾎ ̾ỉᚇยἙὊἑ(᩼͌ἫἁἚἽ) ̾ỉ᩼͌ؕࡁἫἁἚἽ ỉ᩼ኽӳỂ ỄỉᚇยἙὊἑờᑣẪᘙྵỂẨỦؕࡁἍἕἚử൭ỜẺẟ • FrobeniusἠἽἲᙹแỉNMF ἙὊἑૠ ể ầ ࢌỦẐІᥤẑ ؕࡁૠ Î ỉểẨύӲؕࡁἫἁἚἽỊẟẪếẦỉᚇยἙὊἑỂσឪ ẴỦἣἑὊὅίἣὊểԠốὸửᘙྵẴỦợạᛔݰẰủỦ ʩؕࡁẻẦỤ̞ૠỊἋἣὊἋỆ ễụởẴẟᾎ Іᥤ ể ỉễẴᚌử ٻẨẪẲẺ૾ầấࢽὲ • ेܭẴỦཞඞ – ἙὊἑỊ᩼͌ – ᭗ẉ ᆔỉἣὊẻẬỂẴỔềỉᚇยἙὊἑỊನẰủềẟỦ ể – ἣὊỉԧỂᚇยἙὊἑửἴἙἽ҄ ᨗỆСኖửλủềẟễẟỉỆ ؕࡁầႺʩ҄ẰủỦͼӼỆᾎ 14 ầࢌỦᢿЎᆰ᧓ 13 NMFỆấẬỦˊᘙႎễஇᢘ҄ᙹแ ỄạởẾề൭ỜỦỉẦ • FrobeniusἠἽἲᙹแ • NMFỆấẬỦˊᘙႎễஇᢘ҄ᙹแ ễỮểẦẲẺẟᢿЎ – FrobeniusἠἽἲ – IἒỶἢὊἊỹὅἋίɟᑍ҄KLἒỶἢὊἊỹὅἋὸ • IἒỶἢὊἊỹὅἋίɟᑍ҄KLἒỶἢὊἊỹὅἋὸ • ẰảềấẪỔẨؕஜҾྸ – ᙀя᧙ૠඥ – ІɧሁࡸίJensenỉɧሁࡸὸ ễỮểẦẲẺẟᢿЎ ẟẵủờ ỉểẨ ỆễỦ 15 16 ẰảềấẪỔẨؕஜҾྸί2/2ὸ ẰảềấẪỔẨؕஜҾྸί1/2ὸ • Jensenỉɧሁࡸ • ᙀя᧙ૠඥ [J. de Leeuw, 1994] ửẺẴ – – ӒࣄỴἽἆἼἌἲ – – ửᙀя᧙ૠểܭ፯ ᙀя᧙ૠ Ⴘႎ᧙ૠ ᾉІ᧙ૠ [1] [2] ̊ảịẆ [1] ỉئӳᾉ – ӓளࣱ ӫᡀ [2] ᡀ Ⴘႎ᧙ૠửႺஇ҄ݱẴỦỉầᩊẲẟễỤẆ ểụẝảẵẸỉɥᨂ᧙ૠử˺ẾềỚợạὲ 18 17 55 部分空間法研究会2010 FrobeniusἠἽἲᙹแỉNMFỴἽἆἼἌἲ FrobeniusἠἽἲᙹแỉNMFỴἽἆἼἌἲ • Ⴘႎ᧙ૠ • ᙀя᧙ૠầܦẲẺỤẝểỊἋἘἕἩᾀểἋἘἕἩᾁ ửݰЈẴủịOK! [1] • ɦዴᢿỆݣẲềJensenỉɧሁࡸửᇌềềỚỦ ˊ λ [2] • ᙀя᧙ૠầܦ ộẺỊ ắểỉʚഏ᧙ૠỉԧỆễẾềẟỦ 19 20 IἒỶἢὊἊỹὅἋᙹแỉNMFỴἽἆἼἌἲ IἒỶἢὊἊỹὅἋᙹแỉNMFỴἽἆἼἌἲ • Ⴘႎ᧙ૠ • ᙀя᧙ૠầܦẲẺỤẝểỊἋἘἕἩᾀểἋἘἕἩᾁ ửݰЈẴủịOK! [1] • ɦዴᢿỆݣẲềJensenỉɧሁࡸửᇌềềỚỦ ˊ λ [2] • ᙀя᧙ૠầܦ 21 22 NMFỴἽἆἼἌἲỉɟᑍ҄ ወᚘἴἙἽểẲềỉᚐ • NMFỊˌɦửˎܭẲẺஇݹਖ਼ܭբ᫆ểሁ̖ • BregmanἒỶἢὊἊỹὅἋ [L.M. Bregman, 1967] – FrobeniusἠἽἲᙹแ ḵਦૠЎࠋଈểࣖݣ ദᙹЎࠋ Ị˓ॖỉࣇЎӧᏡễІ᧙ૠ [A. Banerjee et al., 2005] ể ầᡈẟỖỄݱẰẟ ẺẻẲុᩉỉπྸ ỊẺẰễẟ(ݣᆅ ࣱầụᇌẺễẟ) – IἒỶἢὊἊỹὅἋᙹแ PoissonЎࠋ ̊) ʚʈᛚࠀύIἒỶἢὊἊỹὅἋύெ̽ᱣᕲុᩉ 23 56 24 部分空間法研究会2010 BregmanἒỶἢὊἊỹὅἋểࣖݣẴỦុᩉࡇݿ ᚇย͌ BregmanἒỶἢὊἊỹὅἋểࣖݣẴỦ᧙ࡇݹૠ NMFἴἙἽ ᚇย͌ NMFἴἙἽ [I.S. Dhillon & S. Sra, 2005] ʚʈᛚࠀ ʚʈᛚࠀ GaussЎࠋ GaussЎࠋ ᵧἒỶἢὊἊỹὅἋ ӑݣᵧἒỶἢὊἊỹὅἋ PoissonЎࠋ GammaЎࠋ ெ̽૬ᕲុᩉ ӑݣெ̽૬ᕲុᩉ ਦૠЎࠋ ᡞGammaЎࠋ [H. Kameoka et al., 2006][C. Févotte et al., 2008] 25 26 NMFỴἽἆἼἌἲỉίỂẨỦẻẬὸɟᑍ҄ NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ҄ݱ [M. Nakano et al., 2010] • ᶾἒỶἢὊἊỹὅἋ [S. Eguchi & Y. Kano, 2001] • Ⴘႎ᧙ૠ BregmanἒỶἢὊἊỹὅἋỆấẟề ểፗẟẺờỉ • ᙀя᧙ૠỉᚨᚘ૾ᤆ ̊) ʚʈᛚࠀύIἒỶἢὊἊỹὅἋύெ̽ᱣᕲុᩉ – Іɧሁࡸ – ዴɧሁࡸ І/Ї І/Ї І᧙ૠ Ї᧙ૠ І᧙ૠỉɥᨂửІɧሁࡸύЇ᧙ૠỉɥᨂửዴɧሁࡸ ử̅ẾềᚨᚘẲύᙀя᧙ૠửನ [H. Kameoka et al., 2006] 27 28 NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ҄ݱ NMFỴἽἆἼἌἲᾉ ᶾἒỶἢὊἊỹὅἋஇ҄ݱ [M. Nakano et al., 2010] • ᙀя᧙ૠ • ᙀя᧙ૠ ί̊ὸ І [M. Nakano et al., 2010] ỉἃὊἋᾉ Ї І Ї ί̊ὸ ỉἃὊἋᾉ ẺẻẲύ 29 30 57 部分空間法研究会2010 NMF ể pLSA [T. Hofmann, 1999] ểỉ᧙̞ NMF ể pLSA [T. Hofmann, 1999] ểỉ᧙̞ (probabilistic Latent Semantic Analysis) (probabilistic Latent Semantic Analysis) •ӲᘍЗᙲእửᄩྙẻểᎋảềỚợạ • pLSAỂỊӲ૨ɶỉҥᛖૠ ửਖ਼ܭ ẦỤ ể ỉ IἒỶἢὊἊỹὅἋ இ҄ݱểӷẳॖԛ 31 32 NMF ể Sparse coding [B.A. Olshausen, 1996] ểỉ᧙̞ • ̾ỉᚇยἙὊἑ(ܱૠ͌ἫἁἚἽ) • ẴỔềỉᚇยἙὊἑầ ̾ỉܱૠ͌ؕࡁἫἁἚἽ ”ἋἣὊἋ”ễዴ࢟ኽӳỂᘙẰủỦؕࡁἍἕἚử൭ỜẺẟ –exactễreconstruction NMFỆợỦਰࠢἋἬἁἚἿἂἻἲỉЎᚐᘙྵỉբ᫆ໜ ᷹ⷰᝄ䉴䊕䉪䊃䊦䉕ᝄ䉴䊕䉪䊃䊦䊌䊷䉿䈱䈪䊝䊂䊦ൻ ỉ • ਰࠢἋἬἁἚἽỉьඥࣱửˎܭẲẺɧദᄩễἴἙἽ – ਰࠢἋἬἁἚἽỊஜ࢘Ị᩼ьඥႎ ίьඥႎễỉỊඬ࢟ὲὸ Î ἴἙἽᐯ˳ỆᛚࠀửԃỮỂẟỦ NMFỂỊиഏјௐႎỆ ἋἣὊἋỆễẾềẟẺỉỆ ݣẲύsparse codingỂ ỊἋἣὊἋࣱἅἋἚỆợụ ࢍСႎỆἋἣὊἋ҄ • ˮႻऴإỉ્ూ – ਖ਼ܭẲẺἴἙἽầඬ࢟ỆࣖݣẲễẟ – ඬ᪸࢟؏ỂܱྵẰủỦٶẪỉ̮ӭϼྸඥểኵỚӳẶỤủễẟ ѷᣐඥሁ 34 ૼἴἙἽẐᙐእNMFẑỉ੩క ਰࠢἋἬἁἚἽỉ᩼ьඥࣱỆếẟề ίඬ࢟ӷٟỊьඥႎὸ ࢼஹỉNMFỉਵả૾ ᵄᢙ ὉὉὉዴ࢟ễ٭੭ ίờẼỨỮьඥႎὸ ዌ͌ݣửểỦ ࠼ẟ ࣖဇޒ ᙐእἋἬἁἚἽỉɭမ ˮႻửਾềỦẺỜΨỆẶễẟὲ 33 ჺ᧓ἧὊἼỺ٭੭ ί᧓ԗඬૠЎᚐὸ ඬ࢟ỉɭမ ᵆᝅ݈ễऴإᵇ ਰࠢἋἬἁ ἚἽỉɭမ ࡇݴ ᪦᪪̮ӭ ԗඬૠЎỉ ԃஊྙỉऴإ ᵬᵫᵤἴἙἽầ ˎܭẰủỦɭမ • ἋἣὊἋࣱἅἋἚ [B.A. Olshausen, 1996][G. Harpur, 2000] –LpἠἽἲ ᚇยਰࠢ ἋἬἁἚἿἂἻἲ ᘍЗY ὉὉὉ᩼ዴ࢟ễ٭੭ rank1ᘍЗ ίẝỦཎܭ᪦ỉỚỉ ਰࠢἋἬἁἚἿἂἻἲὸ ᤨ㑆 ᾉЦ Ệԗඬૠ ỉЎầ ỄủỖỄԃộủềẟỦẦ ίਰࠢἋἬἁἚἽ ӷٟỊ᩼ьඥႎὸ ᪦ᾀỉ ਰࠢἋἬἁἚἽ ἣὊ NMFἴἙἽ ᾎ ˴ᆔẦỉ᪦ ẦỤễỦểˎܭ ьඥࣱầ ụᇌếὲ ᙐእNMFỉᎋả૾ ᵄᢙ –approximation ᚇยᙐእ ἋἬἁἚἿἂἻἲ ᘍЗY ᩼rank1 ᙐእᘍЗ ίẝỦཎܭ᪦ỉỚỉ ᙐእἋἬἁἚἿἂἻἲὸ 䈖䉏䈏⇹䈮䈭䉎 䉋䈉䈮䊌䊤䊜䊷䉺 䉕ផቯ䈚䈢䈇 ᪦ᾀầẟếᯚẾềẟỦẦ ửᘙẴỴἁἘỵἥἘỵ ᙲእỉዌ͌ݣ ửểỦể“rank1” ˮႻ ἋἬἁἚἿἂἻἲ ᙐእNMFἴἙἽ ਰࠢἋἬἁἚἽ ᙐእἋἬἁἚἿἂἻἲ ửἴἙἽ҄ ᘍЗᆢỉ࢟ỆễỤễẟὲ ίૼẲẟἁἻἋỉἋἣὊἋᘙྵἴἙἽὸ 35 36 58 部分空間法研究会2010 ᙐእNMFỴἽἆἼἌἲ ᙐእNMFỴἽἆἼἌἲ • ܭ፯ – – – – • ᙀя᧙ૠඥ ᙐእἋἬἁἚἿἂἻἲ ਰࠢἋἬἁἚἽؕࡁ ˮႻἋἬἁἚἿἂἻἲ ἄỶὅ 䭡ḩ䬮䬨છᗧ䬽ቯᢙ ᪦᪪̮ӭἴἙἽ subject to • இᢘ҄բ᫆ ࿁⋡䬽ᓳ⸘▚ᓟ䬽䮘䮰䮨䯃䮆୯: Step 1) ɟᑍ҄ദᙹЎࠋ ᔅ䬩ᱜ୯ Step 2) ᔅ䬩ᱜ୯ ἋἣὊἋദЩ҄ ỊفьẲễẟὲ 37 NMFểሁ̖ểễỦவˑ 38 ᙐእNMFỊNMFửѼԃ Step 1) [வˑ1] ử ИᚨܭẴỦ Step 2) Ệ NMFỆợỦ ἴἠἻἽ̮ӭЎᩉ ἙἴὅἋἚἾὊἉἹὅ Ị Step1, Step2ỆݣẲề ɧѣໜỆễẾềẟỦ [வˑ2] Step 3) ửܱᘍ 䭡ḩ䬮䬨છᗧ䬽ቯᢙ ቯᢙ Lee & SeungỉʚʈᛚࠀᙹแỉNMFỴἽἆἼἌἲ[Lee & Seung, 2000]ểሁ̖! 39 40 ẐἏẑˌٳỊ᪦Ỽἧ 41 42 59 部分空間法研究会2010 ɟᢿỉؕࡁ᧙ૠỆݣẲềỉỚἋἬἁἚἽ ˦࢟٭ửẲẆฆӳ̮ӭửϐನ ίἋἬἁἚἽ˦ỊἦἕἓἚἻὅἋἯὊἌ ỆႻ࢘ẇ̊ảịἚἻὅἋἯὊἌẐὼᾀẑỊẆ Ҟ᪦ɦậểẟạॖԛẇὸ ẐἏẑẻẬ᪦Ỽἧ 43 44 45 [1] D. P. W. Ellis and J. Arroyo, “Eigenrhythms: Drum pattern basis sets for classification and generation,” Proc. ISMIR 2004, pp. 554-559, 2004. [2] D. D. Lee and H. S. Seung, “Learning the parts of objects with nonnegative matrix factorization,” Nature, vol. 401, pp. 788–791, 1999. [3] P. Paatero, U. Tapper, “Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values,” Environmetrics 5: 111–126, 1994. [3] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for music transcription,” Proc. WASPAA 2003, pp. 177–180, 2003. [4] D.D. Lee and H.S. Seung, “Algorithms for nonnegative matrix factorization,” Proc. NIPS 2000, pp. 556–562, 2000. [5] P. Smaragdis, B. Raj, M.V. Shashanka, “Supervised and semi-supervised separation of sounds from single-channel mixtures," Proc. 7th International Conference on Independent Component Analysis and Signal Separation, 2007. [6] P. Smaragdis and B. Raj, ”Example-driven bandwidth expansion,” Proc. WASPAA 2007, in CD-ROM, 2007. [7] L.M. Bregman, “The relaxation method of finding the common points of convex sets and its application to the solution of problems in convex programming,” USSR Computational Mathematics and Mathematical Physics 7: pp. 200–217, 1967. [8] A. Banerjee, S. Merugu, I.S. Dhillon and J. Ghosh, “ Clustering with Bregman divergences,” Journal of Machine Learning Research 6, pp. 1705–1749, 2005. [9] I.S. Dhillon and S. Sra, “Generalized nonnegative matrix approximations with Bregman divergences ,” Proc. NIPS 2005, pp. 283-290, 2005. 46 ộểỜ Ӌᎋ૨ྂ 1. ᩼͌ᘍЗ܇׆ЎᚐίNMFὸểỊ ˴Ệ̅ảỦỉẦί᪦᪪̮ӭϼྸử᫆ểẲềὸ ỄỉợạễࣱឋầẝỦỉẦ ỄỉợạỆ൭ỜỦỉẦ ወᚘἴἙἽểẲềỉᚐểỴἽἆἼἌἲỉɟᑍ҄ ˂ỉ২ᘐểỄạ᧙̞ẲềẟỦỉẦ 2. ᙐእNMF [H. Kameoka et al., 2008] –NMFỆấẬỦբ᫆ໜ –ᚐൿỉẺỜỉỴỶἙỵỴ –NMFểỄạ᧙̞ẲềẟỦỉẦ Ӌᎋ૨ྂ [10] J. de Leeuw. Block-relaxation methods in statistics. In H.H. Bock, W. Lenski, and M.M. Richter, editors, Information Systems and Data Analysis, Berlin, 1994. Springer Verlag. [11] ʒޢ, ࢸᕲ, ߜޛ, “ἋἬἁἚἽСࣂỺὅἫἿὊἩỆợỦฆӳ᪦ɶỉԗấợỎ᩼ԗЎ ỉᢠ৸ႎỶἅἻỶἈ,” ऴϼᄂإ, 2006-MUS-66-13, pp. 77-84, 2006. [12] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis,” Technical Report TELECOM ParisTech 2008D006, 2008. [13] S. Eguchi and Y. Kano, “Robustifying maximum likelihood estimation,” Technical report, Institute of Statistical Mathematics, Research Memo. 802, 2001. [14] M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono and S. Sagayama, “Convergence-guaranteed multiplicative algorithms for nonnegative matrix factorization with beta-divergence,” Proc. MLSP2010, to appear. [15] B.A. Olshausen, and D.J. Field, “Emergence of simple-cell receptive field properties by learning a sparse code for natural images,” Nature, vol. 381, pp. 607–609, 1996. [16] G. Harpur, R. Prager, “Experiments with low-entropy neural networks,” in R. Baddeley, P. Hancock, P. Földiák (eds.) Information Theory and the Brain, Cambridge University Press, pp. 84-100, 2000. [17] T. Hofmann, “Probabilistic latent semantic analysis,” Proc. UAI , pp. 289-296, 1999. [18] ʒޢ, ݱ, , ߜޛ, “ᙐእNMF: ૼẲẟἋἣὊἋ̮ӭЎᚐᘙྵểؕࡁኒܖ፼ỴἽἆἼ Ἄἲ,” ଐஜ᪦᪪˟ܖ2008࠰ᅸܓᄂᆮႆᘙ˟ᜒᛯ૨ᨼ, 2-8-13, pp. 657-660, 2008. 47 60 部分空間法研究会2010 㗴⸳ቯ 㔚䈏䈎䈎䈦䈩䈐䈩䉕䈚䈩䈇䉎႐ว䇮 㔚䈏䈎䈎䈦䈩䈐䈩䉕䈚䈩䈇䉎႐ว 䋨䋱䋩⺕䈎䉌䈱㔚䈭䈱䈎 ⠪ᖱႎ 䋨䋲䋩䈬䈱䉋䈉䈭ౝኈ䈪 㖸㖿ᖱႎ 䋨䋳䋩వᣇ䈲䈬䉖䈭ᗵᖱ䉕ᜬ䈦䈩䈇䉎䈱䈎 ᗵᕈᖱႎ 㔀㖸 䋨䋴䋩㔀㖸䈏䈎䈭䉍㊀⇥䈚䈩䈇䈩䉅 ੱ䈲ኈᤃ䈮䇮䈖䉌䉏䈱ᖱႎ䉕⡞䈐ಽ䈔䉎䈖䈫䈏䈪䈐䉎䇯 㖸ჿಣℂߣㇱಽⓨ㑆ᴺ Subspace method in speech processing ⎇ⓥ⋡⊛ 㖸ჿାภ䈎䉌 ฦᖱႎ䈫㔀㖸䉕ಽ㔌䈚 ⼂䈜䉎 㖸ჿାภ䈎䉌䇮ฦᖱႎ䈫㔀㖸䉕ಽ㔌䈚䇮⼂䈜䉎 ¾⠪⼂䊶⠪ᾖว •ᄢ⺆ᒵㅪ⛯㖸ჿ⼂ ᄢ⺆ᒵㅪ⛯㖸ჿ⼂ ¾⠪ㆡᔕ ㆡ •㖸ჿᖱႎᬌ⚝ ¾ᗵᖱ⼂ •㖸ჿኻ 㖸ჿኻ ¾㖸ჿ⼂ 㖸ჿ ¾㖸ჿᒝ⺞䊶․ᓽ ᚭᄢቇ 䉲䉴䊁䊛ᖱႎቇ⎇ⓥ⑼ ᖱႎ⑼ቇኾ ᧁᐽ㓶 㖸ჿ↢ᚑ䊝䊂䊦 S (Z ) G (Z ) H (Z ) R (Z ) ᵄߩᵄ㐳ޓ㧦ޓ ᵄ ᵄ㐳 Oޓ (m) 2k -1 ჿ㐳 ޓ㧦ޓ 㧦 <O ޓ0.17 (m) 4 ᵄߩᵄᢙ㧦ޓf ( Hz) ᵄߩㅦᐲ ᵄߩㅦᐲޓ㧦ޓ v Oޓ < f 340 (m / sec)) 㖸ჿାภ S(Z) t R(Z ) ჿᝄ 䉟䊮䊌䊦䉴ᔕ╵ H (Z ) 㚟േ㖸Ḯ ήჿ㖸 t 10ms u 㔀㖸 㖸ჿེቭ䈱ㇱ䈫ฬ⒓ 㖸ჿାภ䈱․ᓽ ㅒ䊐䊷䊥䉣ᄌ឵ 1500 ၮᧄᵄᢙ䋨ჿᏪᝄേ䋩 㖸ჿାภ䈱․ᓽ 䉟䊮䊌䊦䉴ᔕ╵ 䊐䉤䊦䊙䊮䊃䋨ჿᝄ䋩 500 u 2500 Hz H f 䊐䊷䊥䉣ᄌ឵ || u 2500 Hz f 㖸ჿᵄᒻ ჿᏪᝄേ 2500䌈䌺 1500䌈 1500䌈䌺 500䌈䌺 t || 㖸ჿାภᤨ㑆ᵄᒻ 1500 ᤨ㑆 ၮᧄᵄᢙ 10ms 㖸ჿାภ䈱䉴䊕䉪䊃䊦䋨ᵄᢙ․ᕈ䋩 500 㐿 t f 100Hz ࿕ቯ ໃ k 1 ╙㧝ࡈࠜ࡞ࡑࡦ࠻ ╙㧝ࡈ ࡞ࡑࡦ࠻ ޓޓ500Hz H ޓ㧔╙1ᝄᵄᢙ㧕 ࠻ ޓޓ k 2 ╙㧞ࡈࠜ࡞ࡑࡦ࠻ ╙ 1500Hz k 3 ╙㧟ࡈࠜ࡞ࡑࡦ࠻ޓޓޓ 2500Hz t 䉟䊮䊌䊦䉴 ჿ 2k -1 340 < 0 17 0.17 4 f 340 ?f <(2k -1) 1) 500<(2k -1) 1) ( Hz H) 4 u 0.17 t G (Z ) ჿ㖸 ჿ㐷 ჿ䈪䈱ᝄᵄᢙ ჿᝄ(䉴䊕䉪䊃䊦) t 61 部分空間法研究会2010 㖸ჿାภ䈱․ᓽ 㖸ჿାภ䈱․ᓽ Cepstrum(䉬䊒䉴䊃䊤䊛䋩 㖸ჿ䉕․ᓽ䈨䈔䈩 䈇䉎䈱䈲 ჿᝄ 䈇䉎䈱䈲䇮ჿᝄ 䋨䉴䊕䉪䊃䊦䋩 H(Z) 䈪䈅䉎 ⓹ដ䈔 䉬䊒䉴䊃 䊤䊛⓹ ჿ㐳䈱㆑䈇 ჿ䈱ᒻ䈱㆑䈇 u ⓹ដ䈔 ដ 㫓 㖸ჿାภ䈎䉌ჿ䈱 ᝄ․ᕈ䉕ข䉍䈜 | G(Z)| x | H(Z)| 䊜䊦䊐䉞䊦 䉺䊷䊋䊮䉪 ᝄ u ૐᰴ䉬䊒䉴䊃䊤䊛ଥᢙ 0 500 1500 1000 1500 f f ( xk ) 2000 2500 3000 3500 argmax f ( xk _ Or ) r = 62 ¦Z f ( x ) i i i k 䊁䉴䊃䊂䊷䉺䈮ኻ䈜䉎᳢ൻ⢻ജ䈏㜞䈇 䊙䊷䉳䊮䋺 ቇ⠌䊂䊷䉺䈫ᐔ㕙䈫䈱ᦨዊ〒㔌 min d i i 1,", n wT x b ⋡⊛㑐ᢙ㧦ᦨዊൻ 1 g( w , b) || w ||2 2 f ( xk _ O r ) fUBG ( xk _ O ) f ( xk _ O) 䈖䉏䉌䈱ផቯ䈮䈲EM 㩿㪜㫏㫇㪼㪺㫋㪸㫋㫀㫆㫅㪄㪤㪸㫏㫀㫄㫀㫑㪸㫋㫀㫆㫅㪀 䉝䊦䉯䊥䉵䊛䉕ታⴕ䈜䉎 ⼂㑐ᢙ f ( xk _ r ) f ( r ) f ( xk ) 61 4 xi di 䌁䈘䉖એᄖ f ( x k _ O rˆ ) t T2 f UBG ( x k _ O ) P1 P3 6 P26 2 3 P4 6 䌁䈘䉖 䌃䈘䉖 f ( r _ xk ))= f 㪞㪤㪤 㪉㪅 㪪㪭㪤 㪲㪉㪴 㪈㪐㪐㪍 ᓟ⏕₸ 2500 H z 1500 H(Z )ჿᝄ log| H(Z)| Z i : ᷙวଥᢙ 䃩 xk ⠪⼂ rˆ 500 6 i : ಽᢔಽᢔⴕ f (xk _ OC ) f ( xk _ O r ) t T1 ⠪ᾖว fUBG ( xk _ O ) f 䂾 1 ª 1 º exp « ( xk P )T 61 ( xk P )» (2S )d /2 | 6 |1/2 ¬ 2 ¼ 䌂䈘䉖 䌁䈘䉖 u G(Z ) ჿᏪᝄേ ჿᏪᝄ ૐᰴ䉬䊒䉴䊃䊤䊛ଥᢙ Pi : ᐔဋ䊔䉪䊃䊦 ဋ䊔 4000 MFCC: 䋱䋲ᰴర MFCC: 䋱䋲ᰴర MFCC: 䋱䋲ᰴర f (xk _ OB) f (xk _OA) F 1 log | H (Z ) | 6 P ಽᢔ ᐔဋ ಽᢔ ࡌࠢ࠻࡞ ⴕ ᵄᢙ(Hz) log| g| H(Z)| 䌄䌃䌔 1.0 09 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 01 0.1 0.0 2500 Hz u 500 | H(Z)| 㫃㫆㪾 F logg | G(Z ) | 1 㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫆㪻㪼㫃 S(Z ) G(Z )H(Z ) 㫓 log | G(Z)| log | H(Z)| ⠪⼂䊶⠪ᾖว 䋨䋱䋩ㇱಽⓨ㑆ᴺએᄖ 䋱㪅 㪞㪤㪤 㩿㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫀㫏㫋㫌㫉㪼 㪤㫆㪻㪼㫃䋺ᷙวᱜⷙಽᏓ㪀 㪲㪈㪴 㪈㪐㪐㪌 㖸ჿାภ䈱䉴䊕䉪䊃䊦 㪛㪝㪫 Cepstrum 㫓 㪛㪝㪫 㖸ჿାภ䈱․ᓽ MFCC(䊜䊦ᵄᢙ䉬䊒䉴䊃䊤䊛ଥᢙ䋩 log IDFT S(Z ) G(Z )H(Z ) 㪠㪛㪝㪫 G (Z ) H (Z ) R (Z ) 㖸ჿ s( t ) Spectrum 㫃㫆㪾 㫓 ↵ᕈ DFT u 㪛㪝㪫 ᅚᕈ ჿᏪᝄേ䈫ჿᝄ 䈱⇥䉂ㄟ䉂䈫䈚䈩↢ᚑ 䈘䉏䉎㖸ჿ䈎䉌䇮 䈬䈱䉋䈉䈮ჿᝄ 䈱䉂䉕ข䉍䈜䈎䇯 S (Z ) Time 㖸ჿ s( t ) 㖸ჿାภ䈎䉌ჿ䈱 ᝄ․ᕈ䉕ข䉍䈜 0 min w T xi b w i 1,", n ࡑࠫࡦᦨᄢൻ㧦wߣbߩቯ w T xi b ޓޓ max min 1 ", n w , b i 1, w ⚂㧦 min w T xi b i 1,", n T ޓޓޓޓyi ( w xi b ) t 1 ޓޓޓޓyi ^ 1, 1` 1ޓ 部分空間法研究会2010 䊤䉫䊤䊮䉳䉢㑐ᢙ䋺 ✢ ᒻ ⼂ 㑐 ᢙ f ( x㧦 ) n 1 2 La ( w , b , O ) w ¦ O i ^ y i ( w T x i b ) 1` 2 i 1 wߣ bߦ 㑐 ߒ ߡ ᦨ ዊ ൻ ޔO ߦ 㑐 ߒ ߡ ᦨ ᄢ ൻ ⚂᧦ઙઃ߈㕖✢ᒻᦨㆡൻ㗴ߣߒߡ⸃ߊ n ¦ Oi* yi xi b* w* i 1 f (I ( x )) n ¦O 㪊㪅 㪞㪤㪤㪄㪪㪭㪤 㪲㪊㪴 㪉㪇㪇㪍 P1 P 61 P3 6 P26 2 3 P4 6 4 ª P1 º «P » « 2» « P3 » « » ¬ P4 ¼ * i y i x iT x b * 䉴䊷䊌䊷䊔䉪䊃䊦 䉕䈦䈩 SVM䉕ቇ⠌䈚 ⼂䈜䉎 SVM䉕ቇ⠌䈚䇮⼂䈜䉎 ᷹ⷰⓨ㑆 䌁䈘䉖 1 X 䈱․⇣୯ಽ⸃䋺 X V 6 2U T ಽᢔಽᢔⴕ䋺 C T XX ౝⓍⴕ䋺㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷G X T X U 6U T V 6V T 䊁䉴䊃䊂䊷䉺䋺 Y ᐔဋᒁ▚ᓟ䋺 Y V 6 1 x 3 x n M2 ᱜⷙ⋥ၮᐩ M 1 , M 2 , M 3 䊂䊷䉺㓸ว䈣䈔䉕䈜䉎 ዊ䈘䈭ⓨ㑆䋽ㇱಽⓨ㑆 ⼂䋺 䊁䉴䊃䊂䊷䉺䈫ㇱಽⓨ㑆䈱〒㔌 䉕䈬䈱䉋䈉䈮᳞䉄䇮䉪䊤䉴⼂ 䉕ⴕ䈉䈱䈎 㕖✢ᒻൻ㧦㕖✢ᒻᄌ឵㑐ᢙ I ( x ) 㪲㪌㪄㪏㪴 㪈㪐㪐㪏㪃㪈㪐㪐㪐㪃 㪉㪇㪇㪇 ቇ⠌䊂䊷䉺䋺 ቇ⠌䊂 䉺䋺 X ᐔဋᒁ▚ᓟ䋺 X ( y1 ," , yn ) ( y 1 ," , y n ) 6 1 2 , V T XU ㇱಽⓨ㑆 ᐔဋࡌࠢ࠻࡞ ᐔဋ ࠢ ቇ⠌䋺 䊂 䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩 䊂䊷䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩䇮 ㇱಽⓨ㑆䈱ᱜⷙ⋥ၮᐩ䉕 ᳞䉄䉎䈎 䊂䊷䉺㓸ว䈎䉌䈬䈱䉋䈉䈮䈚䈩䇮ㇱಽⓨ㑆䈱ᱜⷙ⋥ၮᐩ䉕᳞䉄䉎䈎 ( x1 ," , xn ) ( x 1 ," , x n ) P ㇱಽⓨ㑆 䊂䊷䉺㓸ว䋨䉪䊤䉴A) 䌃䈘䉖 x 2 x 1 P 䃩 xk ቇ⠌䊂䊷䉺䋺 X ᐔဋᒁ▚ᓟ䋺 X x1 M3 M1 ᐔဋࡌࠢ࠻࡞ 䌂䈘䉖 䌃䈘䉖 yiI ( xi )T I ( x ) b* Aߐࠎ x2 x x 3 n ੱ(s)䈱⊒(k)Ფ䈮䇮 䌇䌍䌍䋭䌕䌂䌇䉕ㆡᔕ䈘䈞䉎 f ( xk _ OC ) 䌁䈘䉖 i ⠪⼂䊶⠪ᾖว 䋨2䋩ㇱಽⓨ㑆ᴺ 㪋㪅 ㇱಽⓨ㑆ᴺ㪲㪋㪴 㪈㪐㪐㪋 GMM䈱ᐔဋ䊔䉪䊃䊦䉕ਗ䈼 䉴䊷䊌䊷䊔䉪䊃䊦 䉴 䊌 䊔䉪䊃䊦 䉕䉎 䌂䈘䉖 f (xk _ OB ) i * i ࠞ ࡀ ࡞ 㑐 ᢙ㧦 ࠞ ᢙ K ( x i , x ) I ( x i )T I ( x ) K ( x , y ) (1 x T y ) p ޓޓpᰴᄙ㗄ᑼ㑐ᢙ § || x - y ||2 · K ( x , y ) exp ¨ ¸ RBF 2 p2 ¹ © ੱᲤ䈮䇮ⶄᢙ䈱䉴 ੱᲤ䈮 ⶄᢙ䈱䉴䊷䊌䊷䊔䉪 䊌 䊔䉪 䊃䊦䉕䈦䈩SVM䉕ቇ⠌䈜䉎 䌇䌍䌍䋭䌕䌂䌇 f (xk _ OA) * i i 1 i 1 㪞㪤㪤 i 1 >0 ¦ O y K ( x , x) b ޓ ✢ ᒻ ⼂ 㑐 ᢙ f ( x㧦 ) w *T x b * n ¦O w *T I ( x ) b * n x s : ࠨࡐ࠻ࡌࠢ࠲ f ( x) y i x iT x b * * i 㕖✢ᒻ⼂㑐ᢙ㧦㕖✢ᒻᄌ឵㑐ᢙ I ( x ) ys w *T x s i 1 n ¦O w *T x b * ޓf ( x) (I ( x1 ), ) " , I ( xn )) (I ( x 1 )," , I ( x n )) 1 X 䈱․⇣୯ಽ⸃䋺 X V 6 2U T U T X T 2 ಽᢔಽᢔⴕ䋺 C V 䈲䇮ಽᢔᦨᄢၮḰ䈪᳞䉄䈢 ቇ⠌䊂 䉺 X 䈱ᱜⷙ⋥ၮᐩ ቇ⠌䊂䊷䉺 䈱ᱜⷙ⋥ၮᐩ䇯 ࿕୯䈱ᄢ䈐䈇࿕䊔䉪䊃䊦 䈪᭴ᚑ䈜䉎䇯䇭䋨ਥᚑಽಽᨆ䋩 ᭴ᚑ䈜䉎䇯 䋨 ᚑಽಽᨆ䋩 T XX V 6V 䊁䉴䊃䊂䊷䉺䋺 䊁䉴䊃䊂 䉺䋺 Y (I ( y1 ), ) ",I ( yn )) ᐔဋᒁ▚ᓟ䋺 Y (I( y1 ),",I( yn )) V T ౝⓍⴕ䋺䇭䇭䇭䇭 G X T X U 6U T ౝⓍⴕ䋺䇭䇭䇭䇭 H X TY 6 1 2 , V T XU 6 1 U T X T 2 V䈲䇮ಽᢔᦨᄢၮḰ䈪᳞䉄䈢 ቇ⠌䊂䊷䉺X䈱ᱜⷙ⋥ၮᐩ 䋨䉦䊷䊈䊦ਥᚑಽಽᨆ䋩 䋨䋱䋩䊁䉴䊃䊂䊷䉺 y k 䉕ㇱಽⓨ㑆䈮ᓇ䈚䈩ᓇ䊔䉪䊃䊦 V T y k 䉕᳞䉄䉎 䋨䋱䋩䊁䉴䊃䊂䊷䉺 䋨䋱䋩䊁䉴䊃䊂 䉺 y k 䉕ㇱಽⓨ㑆䈮ᓇ䈚䈩ᓇ 䉕ㇱಽⓨ㑆䈮ᓇ䈚䈩ᓇ䊔䉪䊃䊦 䉪䊃䊦 V y k 䉕᳞䉄䉎 T 㽲ಽᢔಽᢔⴕ㪚 䉕࿕୯ಽ⸃䈚䈩㪭 䉕᳞䉄 䉕᳞䉄䇮V T y k䉕᳞䉄䉎 㽲ಽᢔಽᢔⴕ㪚 䉕࿕୯ಽ⸃䈚䈩㪭 䉕᳞䉄䇮V T y k䉕᳞䉄䉎 㽳ౝⓍⴕ㪞 䉕࿕୯ಽ⸃䈚䈩 U 䈫 6 䉕᳞䉄䇮ᰴᑼ䈪᳞䉄䉎 1 1 V T y k 6 2U T X T y k 6 2U T H䊶 k 䋨H䊶 k X T y k䈪H X TY䈱╙k䋩 㽳ౝⓍⴕ㪞 䉕࿕୯ಽ⸃䈚䈩 U 䈫 6 䉕᳞䉄䇮ᰴᑼ䈪᳞䉄䉎 䉕᳞䉄 ᰴᑼ䈪᳞䉄䉎 1 V T y k 6 2U T X T y k ౝⓍⴕ㩷G䈫㩷H䈲䇮䈠䉏䈡䉏䉦䊷䊈䊦ⴕ X T X䇮X TY 䉋䉍᳞䉄䉌䉏䉎 63 部分空間法研究会2010 䌂䈘䉖 ㇱಽⓨ㑆 䌁䈘䉖 ㇱಽⓨ㑆 䊁䉴䊃䊂䊷䉺䈫ㇱಽⓨ㑆䈱〒㔌䉕䈬䈱䉋䈉䈮᳞䉄䇮䉪䊤䉴⼂䉕ⴕ䈉䈎 䊁䉴䊃䊂䊷䉺 y k䈲䇮䈠䉏䉕ᦨ䉅䉋䈒⺑䈪䈐䉎ㇱಽⓨ㑆䈮ዻ䈜䉎 䈲 䈠䉏䉕ᦨ䉅䉋䈒⺑䈪䈐䉎ㇱಽⓨ㑆䈮ዻ䈜䉎 x1 x2 x3 x1x2 x3 xn xn ᷹ⷰⓨ㑆 䃩yk 䊁䉴䊃䊂䊷䉺 䊂 y k 䈱ㇱಽⓨ㑆 Vr 䈻䈱ᓇ㊂ || V y k || 䈏ᦨᄢ 䈏 T r ? rˆ 2 x2 x3 arg g max || VrT y k ||2 xn r 䊁䉴䊃䊂 䉺 y k 䈫ㇱಽⓨ㑆 Vr 䈫䈱〒㔌 || y k ||2 || VrT y k ||2 䈏ᦨዊ 䊁䉴䊃䊂䊷䉺 ? rˆ 䌃䈘䉖 ㇱಽⓨ ㇱಽⓨ㑆 x1 䋨䋱䋩ቇ⠌䋺䊂䊷䉺㓸ว䈎䉌ฦ䉪䊤䉴䈱ಽᢔಽᢔⴕC䉕࿕୯ಽ⸃ 䋨䋱䋩ቇ⠌ 䊂 䉺㓸ว䈎䉌ฦ䉪䊤䉴䈱ಽᢔಽᢔⴕC䉕࿕୯ಽ⸃ 䈚䈩䇮ㇱಽⓨ㑆䈱ᱜⷙ⋥ၮᐩ䉕᳞䉄䇮䊁䉴䊃䊂䊷䉺䉕ᓇ䈚䈩 ᓇ䊔䉪䊃䊦䉕᳞䉄䉎䇯 ᓇ䊔䉪䊃䊦䉕᳞䉄䉎 㕖✢ᒻ䈱႐ว䈮䈲䇮ౝⓍⴕG䉕࿕୯ಽ⸃ 䈚䈩U䈫䉕᳞䉄䇮 䊁䉴䊃䊂䊷䉺䈱ㇱಽⓨ㑆䈻䈱ᓇ䊔䉪䊃䊦䉕᳞䉄䉎䇯 arg min || y k ||2 || VrT y k ||2 䇭䇭䈖䈱〒㔌䈱䈖䈫䉕ᛩᓇ〒㔌 r M3 M1 || y k ||2 䈲 F y k Y T Y 䈱 ㇱಽⓨ㑆 V r 䋨䋲䋩⼂䋺䊁䉴䊃䊂䊷䉺䈱ᓇ䊔䉪䊃䊦䉋䉍䇮ᓇ㊂䈏ᦨᄢ䈫䈭䉎䉪䊤䉴 䈮ಽ㘃䈜䉎䇯䈅䉎䈇䈲䇮ᛩᓇ〒㔌䈏ᦨዊ䈫䈭䉎䉪䊤䉴䈮ಽ㘃䈜䉎䇯 M2 VrT y k ╙ k ⴕ k 䈱୯ Fk k ᛩᓇ〒㔌 ᐔဋ䉕ᒁ䈒䋨ಽᢔಽᢔⴕ䋩䋺ਥᚑಽಽᨆ䇮 ᐔဋ䉕ᒁ䈎䈭䈇䋨⋧㑐ⴕ䋩䋺㪚㪣㪘㪝㪠㪚 㩿㪚㫃㪘㫊㫊㪄㪝㪼㪸㫋㫌㫉㫀㫅㪾 㪠㫅㪽㫆㫉㫄㪸㫋㫀㫆㫅 㪚㫆㫄㫇㫉㪼㫊㫊㫀㫆㫅㪑㪮㪸㫋㪸㫅㪸㪹㪼㪃㪈㪐㪍㪎㪀 ᓇ㊂ ᛩᓇ〒㔌䈫䊙䊊䊤䊉䊎䉴〒㔌 㩿㪊㪀㩷䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x) ( x P )T 61 ( x P ) p( x | Z ) p(Z ) 䊔䉟䉵⼂ P( x) 1 ª 1 º ᱜⷙಽᏓ p( x | Z ) ᱜⷙಽᏓ䋺䇭 exp « ( x P )T 6 1 ( x P ) » (2S )d / 2 | 6 |1/ 2 ¬ 2 ¼ 㜞ᰴ࿕୯䈱ቯᢙൻ n ¦ ( x P , v i )2 i 1 㜞ᰴ࿕୯䈱ቯᢙൻ 㩿㪉㪀 ⇼ૃ䊔䉟䉵䋺 㩿㪉㪀㩷⇼ૃ 䉟䉵䋺 g ( x ) k ¦ i 1 Oi n ¦ log Oi i 1 6 V /V T n k T i i i ( x P , vi )2 n ¦ G i k+1 G ( x P , vi )2 Oi 1 k i 1 i G 䇭䇭䇭 || x P || ¦ (1 )( x P , vi )2 Oi i 1 k ( x P , v i )2 Oi n ¦ ( x P , v i )2 i k 1 G 2 k ¦ log Oi i 1 n ¦ logG i k +1 n 㜞ᰴ࿕୯䈱ቯᢙൻ䈱㒰䋨㱐㪓㪓㱗㪀 ¦ k ( x P , vi )2 㩿㪌㪀㩷ᛩᓇ〒㔌䋺䇭g( x) || x P ||2 ¦ ( x P , vi )2 Oi i 1 㜞ᰴ࿕୯䈱 ቯᢙൻ (1) 䊔䉟䉵⼂ W ࿕୯㗄䈱 㒰 ࿕୯㗄䈱 㗄 㒰 㜞ᰴ࿕୯䈱 ቯᢙൻ 㜞ᰴㇱಽⓨ㑆 䈫䈱〒㔌䈱 ᒝ⺞ (3) 䊙䊊䊤䊉 䊎䉴〒㔌 n ¦ ( x P, v ) 2 i i k 1 㪌㪅 ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺ㪲㪐㪄㪈㪈㪴 㪈㪐㪏㪌㪃 㪉㪇㪇㪈㪃 㪉㪇㪇㪏 ᛩᓇ〒㔌䈱⟎䈨䈔䋺 䊙䊊䊤䊉䊎䉴〒㔌䈱ᰴరᷫ (5)ᛩᓇ〒㔌 Oi 䇭䇭䇭 || x P ||2 ¦ ( x P , vi )2 ¦ ¦O v v i 1 i 1 㜞ᰴ࿕୯ 䈱ቯᢙൻ䈱 㒰 ( x P , vi )2 G ( x P , vi )2 n ¦ ( x P , vi )2 h( x) G g( x) ¦ Oi i 1 i k+1 i 1 㩿㪊㪀㩷䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x) ( x P )T 61 ( x P ) (4) ⇼ૃ 䊙䊊䊤䊉䊎䉴〒㔌 Oi k ࿕୯㗄log||䈱㒰 (2) ⇼ૃ䊔䉟䉵 k ¦ 㩿㪋㪀㩷⇼ૃ䊙䊊䊤䊉䊎䉴〒㔌䋺䇭g( x) ⼂㑐ᢙ䋺 g( x) ( x P )T 61 ( x P ) log | 6 | 2log P(Z ) ⼂㑐ᢙ䋺䇭 P()䈱ቯᢙൻ ( x P , vi )2 i 1 ᓟ⏕₸䋺䇭p(Z | x) 㩿㪈㪀㩷䊔䉟䉵⼂䋺 g ( x ) n ¦ 㫅ᰴరㇱಽⓨ㑆 ࿕୯䈮 䊋䉟䉝䉴䉕 ട▚ ᱜḰⷺ T Vr mᰴరㇱಽⓨ㑆 䋨⠪䊁䊮䊒䊧䊷䊃䋩 䋨⠪䊁䊮䊒䊧 䊃䋩 䋨ജ⠪䋩 ᡷ⦟ 䊙䊊䊤䊉䊎䉴〒㔌 ജ․ᓽ䊔䉪䊃䊦䈫 ᐔဋ䊔䉪䊃䊦䈫䈱〒㔌 cos T 2 ㊀䉂ઃ䈐 䊙䊊䊤䊉䊎䉴〒㔌 64 m ax w W , v V r , w z 0 , v z 0 (w , v) w 2 v 2 2 部分空間法研究会2010 ⠪⼂䊶⠪ᾖว 䉝䊦䉯䊥䉵䊛 ᭴ 䇯 ฦ⠪ ㇱಽ 㩿㪈㪀㩷ቇ⠌ᤨ♽䊂䊷䉺䈎䉌ฦ⠪䈱ㇱಽⓨ㑆 ⠌ᤨ♽ Vr䋨mᰴర䋩䉕᭴ᚑ䇯 䇭䇭䇭Vr r 1 ( v ," , v ) 㪍㪅 ㇱಽⓨ㑆䌇䌍䌍㪲 㪈㪉㪴 㪉㪇㪇㪎 ᰴర䋩䉕᭴ᚑ 㩷㩷㩷㩷ജᤨ♽䊂䊷䉺䈎䉌ജ⠪䈱ㇱಽⓨ㑆 ജᤨ♽䊂 䉺䈎䉌ജ⠪䈱ㇱಽⓨ㑆W䋨nᰴర䋩䉕᭴ᚑ䇯 䇭䇭䇭W ( w1 ," , wn ) 㩿㪉 㪀㩷ᰴ 䈱 ⴕ X 䉕 ᳞ 䉄 䉎 䇯 䇭䇭䇭X m ¦ (w ( x ij ) 䇭 䇭 䇭 䇭 䇭 䇭 x ij k 1 ¾䊁䉴䊃䊂䊷䉺䉕ฦ⠪䈱ㇱಽ ⓨ㑆䈮ᓇ䈚䈩ᓇ䊔䉪䊃䊦 䉕᳞䉄䉎 ฦ⠪䈱GMM䉕 䉕᳞䉄䉎䇯ฦ⠪䈱GMM䉕 䈦䈩ዕᐲ䉕⸘▚䈜䉎䇯 䌁䈘䉖 ㇱಽⓨ㑆 , v kr )( v kr , w j ) i ¾ቇ⠌䊂䊷䉺䉕ၮ䈮䇮ฦ⠪䈱 ㇱಽⓨ㑆䉕᭴ᚑ䈚 ㇱಽⓨ ㇱಽⓨ㑆䉕᭴ᚑ䈚䇮ㇱಽⓨ 㑆ౝ䈪GMM䉕ቇ⠌䈜䉎䇯 䋨3䋩ㇱಽⓨ㑆ᴺ䋫⏕₸ r m (3) 㩷ⴕ ⴕ X 䈱 ࿕ ୯ 䉕᳞ 䉄 䉎䇯 䇭䇭䇭 Xc O c 䌂䈘䉖 ㇱಽⓨ㑆 ¾㑣୯䉕䈋䉎ዕᐲᦨ ᄢ䈱⠪䈮ಽ㘃䈜䉎䇯 䌃䈘䉖 ㇱಽⓨ㑆 ᷹ⷰⓨ㑆 ╙ 䋱ᱜ Ḱ ⷺ 䇯䇭╙ ╙ 䋱ᱜ Ḱ ⷺ 䈎 䉌 ᦨ ᄢ ࿕ ୯ O max cos 2 T 䈲 䇮╙ ╙ pᱜ Ḱ ⷺ 䉁䈪 䈱 ᐔ ဋ 䉕䇮䋲䈧 䈱 ㇱ ಽ ⓨ 㑆 䈱 㘃 ૃ ᐲ 䈫䈜 䉎䇯 䉎 ᦨ ᄢ 䈱 ᐔ ဋ ᱜ Ḱ ⷺ 䉕ᜬ 䈧 ⠪ 䈮 ⼂ 䈜 䉎䇯 䃩yk 㕖✢ᒻൻ䈚䈢ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺ䈏ឭ᩺䈘䉏䈩䈇䉎 㪲㪈㪈㪴 㪏㪅 㪣㪛㪘ㇱಽⓨ㑆䋫ᱜⷙಽᏓኻᢙዕᐲ 㪲㪈㪋㪴 㪈㪐㪏㪏 㪎㪅 ⋥ㇱಽⓨ㑆䌇䌍䌍㪲 㪈㪊㪴 㪉㪇㪇㪉 ¾ቇ⠌䊂䊷䉺䉕ၮ䈮䇮ฦ⠪䈱 ¾ቇ⠌䊂䊷䉺䉕ၮ䈮 ฦ⠪䈱 ㇱಽⓨ㑆䉕᭴ᚑ䈚䇮⋥ㇱ ಽⓨ㑆ౝ䈪GMM䉕ቇ⠌䈜䉎䇯 ಽⓨ㑆ౝ 䉕ቇ⠌䈜䉎䇯 ᄌേ䈏ᄢ䈐䈇㖸㖿ᕈ䈲ㇱಽⓨ 㑆䈮ዪ䈚䇮ᄌേ䈏ዊ䈘䈇⠪ ᕈ䈲䇮⋥ⓨ㑆䈮ዪ䈜䉎 䈫⠨䈋䉎䇯 䌁䈘䉖 ⋥ㇱಽⓨ㑆 ¾䊁䉴䊃䊂䊷䉺䉕ฦ⠪䈱⋥ ㇱಽⓨ㑆䈮ᓇ䈚䈩ᓇ䊔䉪 ㇱಽⓨ㑆䈮ᓇ䈚䈩ᓇ 䉪 䊃䊦䉕᳞䉄䉎䇯ฦ⠪䈱GMM 䉕䈦䈩ዕᐲ䉕⸘▚䈜䉎䇯 䌂䈘䉖 ⋥ㇱಽⓨ㑆 䃩yk 䌃䈘䉖 ⋥ㇱಽⓨ㑆 㩿㪈㪀 ㇱಽⓨ㑆䉕㪧㪚㪘䈪䈲䈭䈒 㪣㪛㪘䈪᭴ᚑ䈜䉎 㩿㪈㪀㩷ㇱಽⓨ㑆䉕㪧㪚㪘䈪䈲䈭䈒䇮㪣㪛㪘䈪᭴ᚑ䈜䉎䇯 䃩yk 㩿㪉㪀 ⏕₸䊝䊂䊦䈲නፄᱜⷙಽᏓ䈪䈅䉍䇮䉴䉮䉝䈲 ኻᢙዕᐲ䉕↪䈇䉎䇯 㪣㪛㪘 i i 䊂 䉺㓸ว { X }䈱䋱䈧䈱ਥゲ䉕 l 䈫䈜䉎䋮 䊂䊷䉺㓸ว 䈫䈜䉎 { X }䈱ో䊂 䈱ో䊂䊷䉺䉕䈖䈱ਥ 䉺䉕䈖䈱ਥ ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ l 䉕᳞䉄䉎䋮 Xi X1 x l Xi ᛩᓇᓟ ᐔဋ䉪 ౝಽᢔ ¦ P ( w )V 䇭ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ V W i k i i X1 i V i 1 ni ¦ ( zki z i )( zki z i )T 䇭㩷ᛩᓇᓟ䈱 l T x ki ¦ (x l T {1 ni ᛩᓇ䈚䈢ὐ V W k i k 䇭 ¦ P ( w )l 6 l i i T i x i )( x ki x i )T }l l T ¦ P(w i i i )6 l xki 䇭䇭䇭z 㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷 ฦ䉪䊤䉴ౝಽᢔ x ki 䉕 ਥ ゲ l 䈮 ಽ㔌ᐲ J V B VW ಽ㔌ᐲ䋺 XC l V W V B k 䇭 䇭 䇭 z ki i i 䊂 䉺㓸ว { X }䈱䋱䈧䈱ਥゲ䉕 l 䈫䈜䉎䋮 䊂䊷䉺㓸ว 䈫䈜䉎 { X }䈱ో䊂 䈱ో䊂䊷䉺䉕䈖䈱ਥ 䉺䉕䈖䈱ਥ ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ l 䉕᳞䉄䉎䋮 ಽ㔌ᐲ J V B VW ಽ㔌ᐲ䋺 XC 䌃䈘䉖 䈘䉖 ㇱಽⓨ㑆 ᷹ⷰⓨ㑆 ¾㑣୯䉕䈋䉎ዕᐲᦨ ᄢ䈱⠪䈮ಽ㘃䈜䉎䇯 ᷹ⷰⓨ㑆 㪣㪛㪘 䌂䈘䉖 ㇱಽⓨ㑆 䌁䈘䉖 ㇱಽⓨ㑆 i k T l x i k x ki 䉕 ਥ ゲ l 䈮 lT 6il ᛩᓇ䈚䈢ὐ z i lT x i z lT xޓ T l 6W l ⶄᢙゲޓl A 65 ¦ P(w i )l T 6 i l i ¦ P(w )(䇭z i i l T 6 B l l T 6W l l T 6W l z )(䇭z i z )T 䇭䇭ᛩᓇᓟ䈱 i 㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷䉪䊤䉴㑆ಽᢔ l T { ¦ P ( w i )( x i x )(䇭x i x )T }l 䇭 i T l 6Bl ಽ㔌ᐲ䋺J ᦨᄢ䈫䈭䉎㪘䉕᳞䉄䉎 tr{ AT 6B A} tr{ AT 6W A} 部分空間法研究会2010 㪣㪛㪘ㇱಽⓨ㑆 㪣㪛㪘ㇱಽⓨ㑆 i 䊂 䉺㓸ว X 䈱䋱䈧䈱ਥゲ䉕 lm 䈫䈜䉎䋮 䊂䊷䉺㓸ว 䈫䈜䉎 { X }䈱ో䊂 䈱ో䊂䊷䉺䉕䈖䈱ਥ 䉺䉕䈖䈱ਥ ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ lm 䉕᳞䉄䉎䋮 m m ಽ㔌ᐲ J V Bm VW ಽ㔌ᐲ䋺 X Xi X 1 x C V W i k lm i xki X1 i k l mT x ki zi V W T i i 䇭 ¦ P ( w i )l mT 6 i l m l m ¦ P ( w )6 l m i i ⠪⼂䊶⠪ᾖว 䋨㪋䋩ㇱಽⓨ㑆ᴺ䈮䉋䉎ᄌേᚑಽ䈱ๆ 㪐㪅 㪥㪘㪧㩿㪥㫌㫀㫊㪸㫅㪺㪼 㪘㫋㫋㫉㫀㪹㫌㫋㪼 㪧㫉㫆㫁㪼㪺㫋㫀㫆㫅㪀 㑐ᢙⓨ㑆 I ( x1 ) I ( x2 ) I ( x3 ) x2 x3 x n lmT 6W lm ࿁✢․ᕈ䈱Ꮕ㪲㪈㪌㪃㪈㪍㪴 ᗵᖱ㪲㪈㪎㪴 ᤨᦼᏅ Ꮕ ᤨᦼᏅ䇮ੱᏅ 㪉㪇㪇㪋㪃 㪉㪇㪇㪌㪃 㪉㪇㪇㪎 W ij ij G ¦W ij ijj || P (I ( xi ) I ( x j )) || W ij P XX ¦w w i I XX T i T i Z (W ) KV P1 61 P3 6 P26 2 3 P4 6 v1 ㇱಽⓨ㑆 v2 P V /V T ᐔဋࡌࠢ࠻࡞ ᷙวਥᚑಽಽᨆ 㩿ⶄᢙ䈱✢ᒻㇱಽⓨ㑆䋩 (I ( x 1 ), " , I ( x n )) ( w 1 ," , w k ) XX || P (I ( xi ) I ( x j )) || ¦w T i X/ i w iT I XX T P diag (W 1) W X AV K AT A ࿁✢䈱㆑䈇䉕ๆ䈚䈢ⓨ㑆 䈮䈍䈇䈩䉦䊷䊈䊦ⴕ䉕᳞䉄䉎 KV / K c ( PA)T ( PA) AT ( I XX T )T ( I XX T ) A V/ x W< f P H ⷰ ᷹ 丘 ䷮ 万 个 乼 ᰴ ర 乊 ࿃ ሶ ⽶ ⩄ ⴕ ࿕୯ಽ⸃ V /V T 4 66 d 1 ½ p( x | f ) (2SV 2 ) 2 exp ® 2 || x Wf P ||2 ¾ ¯ 2V ¿ 争ẜ ᐔ 不 ᰴ ဋ ䷣ రᄌ 丘 ䷹ ᢙ ䷮ 丘 ࿃丘 万 ䷮ ሶ䷮ 个 万 个 乊万 2 个 N(0,V I) N(0,I) ኻᢙዕᐲ䋺 wL 0 wP wL 0 wW ᷹ⷰⓨ㑆 6 X q 1 ½ p( f ) ((2S ) 2 exp p ® f T f ¾ ¯ 2 ¿ 㩿 ࿕୯ಽ⸃ 㪞㪤㪤 A 䈠䉏એᄖ 䉏 ⏕₸ਥᚑಽಽᨆ ਥᚑಽಽᨆ 㩿䋱䈧䈱✢ᒻㇱಽⓨ㑆䋩 ᷹ⷰⓨ㑆 6 ᦨᄢ䈫䈭䉎㪘㫄䉕᳞䉄䉎 tr{ AmT 6Bm Am } tr{ AT 6W AmT } ಽ㔌ᐲ䋺J K ( KV )( KV )T Z (W ) K 䉕࿕୯ಽ⸃䈚䈩 V 䉕᳞䉄䉎 䉦䊷䊈䊦SVM 䈪⠪⼂䉕ታⴕ 㩿 6 ಽᢔ ᐔဋ ಽᢔ ࡌࠢ࠻࡞ ⴕ P ᷹ⷰⓨ㑆 ( w1 ," , wk ) T ⏕₸ਥᚑಽಽᨆ 㪞㪸㫌㫊㫊㫀㪸㫅 㪤㫆㪻㪼㫃 i x i 䈱࿁✢ z x j䈱࿁✢ K Z (W ) K V 䈠䉏એᄖ ⠪⼂䊶⠪ᾖว 䋨㪌䋩⏕₸ਥᚑಽಽᨆ䈫࿃ሶಽᨆ 㪐㪅 ⏕₸ਥᚑಽಽᨆ 㪲㪈㪏㪴 㪈㪐㪐㪐 ᷹ⷰⓨ㑆 Z (W ) z m )(䇭z i z m )T 㩷ᛩᓇᓟ䈱 lmT 6Bmlm A Z (W ) A X ᓇᚑಽ䉕ข䉍㒰䈇䈢ᓇ䊔䉪䊃䊦 x i 䈱࿁✢ z x j䈱࿁✢ ° 1 ® °̄ 0 ij i lmT {¦ P ( w i )(䇭x i x m )(䇭x i x m )T }lm l mT x i T i X i i I ( xn ) P PI ( xi )䈲䇮I ( xi )䈎䉌¦ wi wiT 䈻䈱 䈏ᦨዊ䈫䈭䉎X 䉕ቯ䈜䉎 ¦ P(w )(䇭z 䈏ᦨዊ䈫䈭䉎X 䉕ቯ䈜䉎 I ¦ wi wiT (I ( x1 )," , I ( x n )) ° 1 ® °̄° 0 ¦W G i A V Bm lmT 6W lm i 㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷 㩷㩷㩷㩷䉪䊤䉴㑆ಽᢔ 䉪䊤䉴㑆ಽᢔ l mT x ki ⶄᢙゲޓlm Am 㑐ᢙⓨ㑆 I ( x ) I ( x2 ) I ( x3 ) w1 " w k 1 I ( xn ) I 䇭 ¦ P ( w i )l mT 6 i l m ᛩᓇ䈚䈢ὐ k ᛩᓇ䈚䈢ὐ x1 䇭 䇭 z ki lmT 6 Bm lm lmT 6W lm V W x ki 䉕 ਥ ゲ l m 䈮 l mT {1 ni ¦ ( xki x i )( xki x i )T }l m l mT 6 i l m x ki 䉕 ਥ ゲ l m 䈮 ᷹ⷰⓨ㑆 lm V i 1 ni ¦ ( zki z i )( zki z i )T 䇭㩷ᛩᓇᓟ䈱 㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷㩷ฦ䉪䊤䉴ౝಽᢔ 䇭 䇭 䇭 z ki ಽ㔌ᐲ䋺 㔌ᐲ J V Bm VW XC Xi ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ ¦ P ( w )V 䇭ᛩᓇᓟ䈱ᐔဋ䉪䊤䉴ౝಽᢔ i i 䊂 䉺㓸ว X 䈱䋱䈧䈱ਥゲ䉕 lm 䈫䈜䉎䋮 䊂䊷䉺㓸ว 䈫䈜䉎 { X }䈱ో䊂 䈱ో䊂䊷䉺䉕䈖䈱ਥ 䉺䉕䈖䈱ਥ ゲ䈮ᛩᓇ䈚䈩⇣䈭䉎䉪䊤䉴䈱ಽ㔌ᐲ䈏ᦨᄢ䈫䈭䉎ਥゲ lm 䉕᳞䉄䉎䋮 ³ p( x | f ) p( f )df p( x) d 1 ½ (2S ) 2 | C | 2 exp ® ( x P)T C1( x P)¾ ¯ 2 ¿ 䇭䇭䇭䇭䇭C V 2I WWT ኻᢙዕᐲ䋺 L N ¦ ln{ p( x k 1 S 1 N N ¦(x k 1 k k )} 1 N ^d ln(2S ) ln | C | tr (C -1 S )` 2 P )( xk P )T } 部分空間法研究会2010 ኻᢙዕᐲ䋺 N L ^d ln(2S ) ln | C | tr (C -1 S )` 2 1 N S ¦ ( x P )( xk P )T } Nk1 k ⏕₸ਥᚑಽಽᨆ x W< f P H < f dq N (0,V 2I) ᐔဋಽᢔ wL wP ࿃ ሶ ⽶ ⩄ ⴕ ᐔ 不 ဋ ䷣ 丘 ䷹ ䷮ 2 万 N(0,V I) 个 N(0,I) N(0,< ) ࿃ẜ ሶ 乊ᄌ ᢙ 㩿 ⷰ ᷹ 丘 ䷮ 万 个 ࿃ሶಽᨆ W< f P H 1 N N ¦x k 1 k 1 wL 0䉋䉍䇮Wˆ Vq ( / q V 2 I ) 2 R wW S V /V T 䈪䈅䉍䇮Vq䈫/ q䈲࿕୯䈱 ᄢ䈐䈇࿕䊔䉪䊃䊦ⴕ䈫࿕୯ⴕ R䈲છᗧ䈱⋥(࿁ォ䋩ⴕ Vˆ 2 ⏕₸ਥᚑಽಽᨆ 0䉋䉍䇮Pˆ = 1 d q j q 1 f ( xk _ O) j ᷙว࿃ሶಽᨆ x Wm < fm Pm H m p( x | m) 䇭䇭Sm t 0, m ¦S i 1 m 1 P 4 3 k 1 63 64 ¦Z f ( x ) i i i k 1 m 1 GMM䈫ห䈛䈒䇮EM䉝䊦䉯䊥䉵䊛䈪 {S m , Pm , Wm , V m2 } 䉕ផቯ䈜䉎 k ෳ⠨ᢥ₂ ᄌ േ ⷐ ࿃ 䈱 ๆ [1 9 , 2 0 ] 2 0 0 7 , 2 0 0 8 㪲㪈㪴 㪛㪅 㪘㪅㩷㪩㪼㫐㫅㫆㫃㪻㫊㪃㩷㪩㪅㩷㪚㪅㩷㪩㫆㫊㪼㩷㪑 㵰㪩㫆㪹㫌㫊㫋㩷㫋㪼㫏㫋㪄㫀㫅㪻㪼㫇㪼㫅㪻㪼㫅㫋㩷㫊㫇㪼㪸㫂㪼㫉㩷㫀㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷 㪞㪸㫌㫊㫊㫀㪸㫅 㫄㫀㫏㫋㫌㫉㪼 㫊㫇㪼㪸㫂㪼㫉 㫄㫆㪻㪼㫃㫊㵱㪃 㪠㪜㪜㪜㩷㪫㫉㪸㫅㫊㪅㩷㫆㫅㩷㫊㫇㪼㪼㪺㪿㩷㪸㫅㪻㩷㪸㫌㪻㫀㫆㩷㫇㫉㫆㪺㪼㫊㫊㫀㫅㪾㪃 㪞㪸㫌㫊㫊㫀㪸㫅㩷㫄㫀㫏㫋㫌㫉㪼㩷㫊㫇㪼㪸㫂㪼㫉㩷㫄㫆㪻㪼㫃㫊 㪠㪜㪜㪜 㪫㫉㪸㫅㫊 㫆㫅 㫊㫇㪼㪼㪺㪿 㪸㫅㪻 㪸㫌㪻㫀㫆 㫇㫉㫆㪺㪼㫊㫊㫀㫅㪾 㪭㫆㫃㫌㫄㪼㩷㪊㪃㩷 㪭㫆㫃㫌㫄㪼 㪊 㪠㫊㫊㫌㪼 㪈㪃㩷㫇㫇㪅㪎㪉㪄㪏㪊㪃 㪈㪐㪐㪌㪅 㪲㪉㪴㩷㪤㪅㪪㪺㪿㫄㫀㪻㫋㪃 㪟㪅㪞㫀㫊㪿㪑㩷㵰㪪㫇㪼㪸㫂㪼㫉㩷㫀㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫍㫀㪸㩷㫊㫌㫇㫇㫆㫉㫋㩷㫍㪼㪺㫋㫆㫉㩷㪺㫃㪸㫊㫊㫀㪽㫀㪼㫉㫊㵱㪃 㪧㫉㫆㪺㪅 㫆㪽 㪠㪚㪘㪪㪪㪧 㫇㫇㪅㪈㪇㪌 㪠㪚㪘㪪㪪㪧㪃 㫇㫇 㪈㪇㪌㪄㪈㪇㪏 㪈㪇㪏㪃 㪈㪐㪐㪍㪅 㪈㪐㪐㪍 㪲㪊㪴㩷㪮㪅㩷㪤㪅㩷㪚㪸㫄㫇㪹㪼㫃㫃㪃㩷㪛㪅㩷㪜㪅㩷㪪㫋㫌㫉㫀㫄㪃㩷㪛㪅㩷㪘㪅㩷㪩㪼㫐㫅㫆㫃㪻㫊㪃㩷㪸㫅㪻㩷㪘㪅㩷㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪑 㵰㪪㪭㪤㩷㪹㪸㫊㪼㪻㩷㫊㫇㪼㪸㫂㪼㫉㩷 㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷㪸 㪞㪤㪤 㫊㫌㫇㪼㫉㫍㪼㪺㫋㫆㫉 㫂㪼㫉㫅㪼㫃㩷㪸㫅㪻 㪥㪘㪧㩷㫍㪸㫉㫀㪸㪹㫀㫃㫀㫋㫐㩷㪺㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㪃㵱㩷㫀㫅㩷㪧㫉㫆㪺㪅 㫆㪽 㪃 㫇㫇 㪃 㪉㪇㪇㪍㪅 㪠㪚㪘㪪㪪㪧㪃㩷㫇㫇㪅㩷㪐㪎㵨㪈㪇㪇㪃 㪲㪋㪴㪰㪅㪘㫉㫀㫂㫀 㪸㫅㪻㩷㪢㪅㪛㫆㫀㪑 㵰㪪㫇㪼㪸㫂㪼㫉㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㩷㪹㪸㫊㪼㪻㩷㫆㫅㩷㪪㫌㪹㫊㫇㪸㪺㪼㩷㪤㪼㫋㪿㫆㪻㵱㪃 㪠㪚㪪㪣㪧㵬㪐㪋㪃㩷 㫇㫇㪅㪈㪏㪌㪐 㪄㪈㪏㪍㪉㪃㩷㪈㪐㪐㪋㪅 㪲㪌㪴㪙㪅㪪㪺㪿㫆㫃㫂㫆㫇㪽㪃 㪘㪅㪪㫄㫆㫃㪸㪃 㪸㫅㪻 㪢㪅㪄㪩㪅㪤㫌㫃㫃㪼㫉㪃 㵰㪥㫆㫅㫃㫀㫅㪼㪸㫉 㪚㫆㫄㫇㫆㫅㪼㫅㫋 㪘㫅㪸㫃㫐㫊㫀㫊 㪸㫊 㪸 㪢㪼㫉㫅㪼㫃 㪜㫀㪾㪼㫅㫍㪸㫃㫌㪼 㪧㫉㫆㪹㫃㪼㫄㪃㵱 㪥㪼㫌㫉㪸㫃 㪚㫆㫄㫇㫌㫋㪸㫋㫀㫆㫅㪃 㪭㫆㫃㪅㪈㪇㪃 㫇㫇㪅㪈㪉㪐㪐㪄㪈㪊㪈㪐㪃㪈㪐㪐㪏㪅 㪲㪍㪴ᵤ↰ብᴦ䋺㵰䊍䊦䊔䊦䊃ⓨ㑆䈮䈍䈔䉎ㇱಽⓨ㑆㪃㵱 㔚ሶᖱႎㅢାቇળ⺰ᢥ䋬㪭㫆㫃㪅㪏㪉㪄㪛㪄㪠㪠䋬 㪥㫆㪅㪋䋬㫇㫇㪅㪌㪐㪉㪄㪌㪐㪐䋬㪈㪐㪐㪐㪅 㪲㪎㪴೨↰⧷㪃㩷ἑᵗ䋺㵰䉦䊷䊈䊦㕖✢ᒻㇱಽⓨ㑆ᴺ䈮䉋䉎䊌䉺䊷䊮⼂㪃㵱㔚ሶᖱႎㅢାቇળ ⺰ᢥ䋬㪭㫆㫃㪅㪏㪉㪄㪛㪄㪠㪠䋬㪥㫆㪅㪋䋬㫇㫇㪅㪍㪇㪇㪄㪍㪈㪉䋬㪈㪐㪐㪐㪅 㪲㪏㪴ᵿፒᱞ㪃㊁↰⑲᮸㪃ᴡญ⧷ੑ䋺㵰䊍䊦䊔䊦䊃ⓨ㑆䈪ㇱಽⓨ㑆ᴺ䉕↪䈇䈢⠪⼂㪃㵱 㔚ሶᖱ ႎㅢାቇળᛛႎ 㪧㪩㪤㪬⎇ⓥળ㪃 ႎㅢାቇળᛛႎ㪃 ⎇ⓥળ 㫇㫇㪅㪌㪎㪄㪍㪉㪃 㪉㪇㪇㪇㪅 㪲㪐㪴೨↰ ⾫৻ ᷰㄝ ⽵৻䋺㵰ዪᚲ⊛᭴ㅧ䉕ዉ䈚䈢䊌䉺䊷䊮䊶䊙䉾䉼䊮䉫ᴺ㪃㵱 㔚ሶᖱႎㅢାቇ ળ⺰ᢥ䋬㪭㫆㫃㪅㪡㪍㪏㵨㪛㪃 㪥㫆㪅㪊㪃 㫇㫇㪅㪊㪋㪌㵨㪊㪌㪉㪃 㪈㪐㪏㪌㪅 㪲㪈㪇㪴Ꮢ㊁༹ ဈ㊁㍈ ዊ᧻ዏਭ 㵰⠪⼂䈮䈍䈔䉎ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺ䈱ㆡ↪䈫 㪲㪈㪇㪴Ꮢ㊁༹䋬ဈ㊁㍈䋬ዊ᧻ዏਭ䋺㵰⠪⼂䈮䈍䈔䉎ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺ䈱ㆡ↪䈫 ലᕈ䈮㑐䈜䉎৻⠨ኤ㪃㩷↹䈱⼂䊶ℂ⸃䉲䊮䊘䉳䉡䊛㩿㪤㪠㪩㪬㪉㪇㪇㪏㪀䉰䊁䊤䉟䊃䊪䊷䉪䉲䊢䉾䊒ㇱ ಽⓨ㑆ᴺ⎇ⓥળ㪪㫌㪹㫊㫇㪸㪺㪼㪉㪇㪇㪏㪃㪉㪇㪇㪏㪅 ࿃ ሶ f 䈫䈚䈩䇮࿁ ✢ ․ ᕈ 䉇 ᤨ ᦼ Ꮕ 䇮 ੱ ᕈ 䉕ข 䉍䇮ⶄ ᢙ ࿃ ሶ 䈪ⷰ ᷹ 䊂 䊷 䉺䉕 䈜 䉎䇯 䈋䈳 䇮 x m 1 m 1 d ¦O M ¦S 争ẜ ᐔ 不 p( x | m) ³ p( x | m, f ) p( f | m)df ᰴ ဋ ䷣ d 1 రᄌ 丘 ䷹ 1 ½ ((2S ) 2 | Cm | 2 exp p ® ( x Pm )T Cm1( x Pm )¾ ᢙ ䷮ 丘 ¯ 2 ¿ ࿃丘 万 ䷮ ሶ䷮ 个 万 䇭䇭䇭䇭䇭Cm Vm2 I WmWmT 个 乊万 2 个 N(0,VmI) N(0,I) ኻᢙዕᐲ ኻᢙዕᐲ䋺 㪞㪤㪤 N N M P1 6 L ¦ ln{{ p( xk )} ¦ ln{{ ¦ S m p( xk | m )} P26 2 P W < f U <g P H 䈫 䈚 䇮 W ,U ,P ,H 䉕 ቇ ⠌ 䈜 䉎 䇯 ജ 䊂 䊷 䉺 x䈏 ਈ 䈋 䉌 䉏 䉎 䈫 䇮 x䉕 ಽ ⸃ 䈚 䇮 U < g䈏 ࿁ ✢ ․ ᕈ 䈪 䈅 䉏 䈳 䇮 䈖䉏䉕㒰䈚䈩Ყセ䈜䉎䇯 ᄌ േ ⷐ ࿃ 䈱 ๆ [21, 22] 2002, 2003 ᷙว⏕₸ਥᚑಽಽᨆ ᷙว⏕₸ ᚑಽಽᨆ ࿃ ሶ ⽶ ⩄ ⴕ p( x) 㩿 Wq< f q H Wd< f d d q ⋥ㇱಽⓨ㑆䈮䈍䈔䉎 x ⷰ ᷹ 丘 ䷮ 万 个 乼 ᰴ ర 乊 㩿 H W 争ẜ ᐔ 不 ᰴ ဋ ䷣ రᄌ 丘 ䷹ ᢙ ䷮ 丘 ࿃丘 万 ䷮ ሶ䷮ 个 万 个 乊万 2 个 N(0,V I) N(0,I) x Wm < fm Pm H m 㩿 㩿 ⷰ ࿃ ᷹ ሶ 丘 ⽶ ䷮ ⩄ 万 ⴕ 个 乼 ᰴ ర 乊 xP ᷙว⏕₸ਥᚑಽಽᨆ 㩿ⶄᢙ䈱✢ᒻㇱಽⓨ㑆䋩 䊂䊷䉺䈏ᷙว࿃ሶಽᨆ䈱⚂䈮ၮ䈨 䈇 䈩⊒ ↢ 䈚䈩䈇 䉎䉅䈱 䈫⠨ 䈋䇮䊌 䊤䊜䊷 䉺䉕ផ ቯ 䈜 䉎䇯䈖䉏 䉕ၮ 䈮䇮䊁䉴䊃䊂 䊷 䉺䈱 ⊒ ჿ ⏕ ₸ 䉕 ⠪ 䈗䈫䈮᳞ 䉄 䇮 ⠪ ⼂ 䉕ⴕ 䈉䇯 㪲㪈㪈㪴ဈ㊁㍈䋬ᱞᎹ⋥᮸䋬ਛᄥ৻䋺㵰ᩭ㕖✢ᒻ⋧ㇱಽⓨ㑆ᴺ䈮䉋䉎‛⼂䋬㵱㔚ሶᖱႎㅢ ାቇળ⺰ᢥ䋬㪭㫆㫃㪅㪡㪏㪋㪄㪛㪄㪠㪠䋬㪥㫆㪅㪏䋬㫇㫇㪅㪈㪌㪋㪐㪄㪈㪌㪌㪍䋬㪉㪇㪇㪈㪅 㪲㪈㪉㪴 㪚 㪣 㪰㫀㫅㪾 㪸㫅㪻 㪘 㪙㪡 㪫㪼㫆㪿䋺㵰㪪㫇㪼㪸㫂㪼㫉 㪲㪈㪉㪴㩷㪚㪅㩷㪣㪅㩷㪰㫀㫅㪾㩷㪸㫅㪻㩷㪘㪅㩷㪙㪡㩷㪫㪼㫆㪿䋺 㪪㫇㪼㪸㫂㪼㫉㩷㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㩷㫌㫊㫀㫅㪾㩷㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺㩷㪉㪛㩷㪚㪣㪘㪝㪠㪚㪃 㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅 㫌㫊㫀㫅㪾 㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺 㪉㪛 㪚㪣㪘㪝㪠㪚 㵱 㪠㪜㪠㪚㪜 㪜㫃㪼㪺㫋㫉㫆㫅㫀㪺㫊 㪜㫏㫇㫉㪼㫊㫊㪃 㪭㫆㫃㪅㪋㪃 㪥㫆㪅㪌㪃 㫇㫇㪅㪈㪎㪐㪄㪈㪏㪋㪃 㪉㪇㪇㪎㪅 㪲㪈㪊㪴↰ผ䋬ᧁᐽ㓶㪑 㵰㖸㖿ᕈ䉕ᛥ䈋䈢⠪ⓨ㑆䈻䈱ᓇ䈮䉋䉎⠪⼂㵱㪃 㔚ሶᖱႎㅢାቇળ⺰ᢥ 㪭㫆㫃 㪏㪌㪄㪛㪄㪠㪠 㔚ሶᖱႎㅢାቇળ⺰ᢥ䋬㪭㫆㫃㪅㪏㪌 㪛 㪠㪠䋬㪥㫆㪅㪋䋬㫇㫇㪅㪌㪌㪋 㪥㫆 㪋 㫇㫇 㪌㪌㪋㪄㪌㪍㪉 㪌㪍㪉䋬㪉㪇㪇㪉㪅 㪉㪇㪇㪉 㪲㪈㪋㪴㪡㪅㪙㪅㪘㫋㫋㫀㫃㫀㪃 㪤㪅㪪㪸㫍㫀㪺 㪸㫅㪻 㪡㪅㪧㪅㪚㪸㫄㫇㪹㪼㫃㫃㪑㵰㪘 㪫㪤㫊㪊㪉㪇㪉㪇㪄㪹㪸㫊㪼㪻 㫉㪼㪸㫃 㫋㫀㫄㪼㪃 㫋㪼㫏㫋㪄㫀㫅㪻㪼㫇㪼㫅㪻㪼㫅㫋㪃 㪸㫌㫋㫆㫄㪸㫋㫀㪺 㫊㫇㪼㪸㫂㪼㫉 㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅 㫊㫐㫊㫋㪼㫄㪃㵱 㪧㫉㫆㪺㪅 㫆㪽 㪠㪚㪘㪪㪪㪧㪃 㫇㫇㪅㪌㪐㪐㪄㪍㪇㪉㪃 㪈㪐㪏㪏㪅 㪲㪈㪌㪴 㪘 㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽 㪮 㪤 㪚㪸㫄㫇㪹㪼㫃㫃 㪠㪅㪙㫆㪸㫉㪻㫄㪸㫅䋺 㪲㪈㪌㪴㩷㪘㪅㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪃㩷㪮㪅㪤㪅㪚㪸㫄㫇㪹㪼㫃㫃㪃 㪠 㪙㫆㪸㫉㪻㫄㪸㫅䋺㵰㪘㪻㫍㪸㫅㪺㪼㫊 㪘㪻㫍㪸㫅㪺㪼㫊㩷㫀㫅㩷㪚㪿㪸㫅㫅㪼㫃㩷㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㩷㪽㫆㫉㩷㪪㪭㪤㩷 㫀㫅 㪚㪿㪸㫅㫅㪼㫃 㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅 㪽㫆㫉 㪪㪭㪤 㪪㫇㪼㪸㫂㪼㫉㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㪃㵱㪅㪠㪚㪘㪪㪪㪧㪃㩷㫇㫇㪅㪈㪏㵨㪉㪊㪃 㪉㪇㪇㪌㪅㩷 㪲㪈㪍㪴㩷㪘㪅㪪㫆㫃㫆㫄㫆㫅㫆㪽㪽㪃㩷㪚㪅㪨㫌㫀㫃㫃㪼㫅㪃㩷㪮㪅㪤㪅㪚㪸㫄㫇㪹㪼㫃㫃䋺㵰㪚㪿㪸㫅㫅㪼㫃㩷㪚㫆㫄㫇㪼㫅㫊㪸㫋㫀㫆㫅㩷㪽㫆㫉㩷㪪㪭㪤㩷㪪㫇㪼㪸㫂㪼㫉㩷 㪾 㪃 㪠㫅㩷㪧㫉㫆㪺㪅㩷㪦㪻㫐㫊㫊㪼㫐㪑㩷㪫㪿㪼㩷㪪㫇㪼㪸㫂㪼㫉㩷㪸㫅㪻㩷㪣㪸㫅㪾㫌㪸㪾㪼㩷㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㩷㪮㫆㫉㫂㫊㪿㫆㫇㪃 㫐 㫐 㫇 㪾 㪾 㪾 㫇㪃 㪠㪪㪚㪘㪃㩷 㪃 㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅㪃㵱 㫇㫇㪅㪋㪈㵨㪋㪋㪃 㪉㪇㪇㪋㪅㩷 㪲㪈㪎㪴㪟㪅㪙㪸㫆㪃 㪤㪅㪯㫌㪃 㪫㪅㪝㪅㪱㪿㪼㫅㪾㪑㵰㪜㫄㫆㫋㫀㫆㫅 㪘㫋㫋㫉㫀㪹㫌㫋㪼 㪧㫉㫆㫁㪼㪺㫋㫀㫆㫅 㪽㫆㫉 㪪㫇㪼㪸㫂㪼㫉 㪩㪼㪺㫆㪾㫅㫀㫋㫀㫆㫅 㫆㫅 㪜㫄㫆㫋㫀㫆㫅㪸㫃 㪪㫇㪼㪼㪺㪿㪃㵱 㪠㫅㫋㪼㫉㫊㫇㪼㪼㪺㪿㪃 㫇㫇㪅㪎㪌㪏㪄㪎㪍㪈㪃㪉㪇㪇㪎㪅 㪲㪈㪏㪴㩷㪤㪅㪜㪅㩷㪫㫀㫇㫇㫀㫅㪾㩷㪸㫅㪻㩷㪚㪅㪤㪅㩷㪙㫀㫊㪿㫆㫇㪃㩷㵰㪤㫀㫏㫋㫌㫉㪼㫊㩷㫆㪽㩷㫇㫉㫆㪹㪸㪹㫀㫃㫀㫊㫋㫀㪺㩷㫇㫉㫀㫅㪺㫀㫇㪸㫃㩷㪺㫆㫄㫇㫆㫅㪼㫅㫋㩷 㪸㫅㪸㫃㫐㫑㪼㫉㫊㪃㵱㪥㪼㫌㫉㪸㫃㩷㪚㫆㫄㫇㫌㫋㪸㫋㫀㫆㫅㪃㩷㫍㫆㫃㪅㪈㪈㪃㩷㫅㫆㪅㪉㪃㩷㫇㫇㪅㪋㪋㪊㵨㪋㪏㪉㪃㩷㪈㪐㪐㪐㪅 㪲㪈㪐㪴㩷㪛㪅㪤㪸㫋㫉㫆㫌㪽㪃 㪥㪅㩷㪪㪺㪿㪼㪽㪽㪼㫉㪃 㪙㪅㪝㪸㫌㫍㪼㪃 㪡㪄㪝㪅㩷㪙㫆㫅㪸㫊㫋㫉㪼䋺㵰㪘㩷㫊㫋㫉㪸㫀㪾㪿㫋㪽㫆㫉㫎㪸㫉㪻㩷㪸㫅㪻㩷㪼㪽㪽㫀㪺㫀㪼㫅㫋㩷 㫀㫄㫇㫃㪼㫄㪼㫅㫋㪸㫋㫀㫆㫅㩷㫆㪽㩷㫋㪿㪼㩷㪽㪸㪺㫋㫆㫉㩷㪸㫅㪸㫃㫐㫊㫀㫊㩷㫄㫆㪻㪼㫃㩷㪽㫆㫉㩷㫊㫇㪼㪸㫂㪼㫉㩷㫍㪼㫉㫀㪽㫀㪺㪸㫋㫀㫆㫅㪃㵱 㪠㫅㩷㪠㪥㪫㪜㪩㪪㪧㪜㪜㪚㪟㪄 㪉㪇㪇㪎㪃㩷㪈㪉㪋㪉㪄㪈㪉㪋㪌㪃 㪉㪇㪇㪎㪅 㪲㪉㪇㪴㩷㪧㪅㪢㪼㫅㫅㫐㪃㩷㪧㪅㪦㫌㪼㫃㫃㪼㫋㪃㩷㪥㪅㪛㪼㪿㪸㫂㪃㩷㪭㪅㪞㫌㫇㫋㪸㪃㩷㪸㫅㪻㩷㪧㪅㪛㫌㫄㫆㫌㪺㪿㪼㫃䋺㵰㪘 㪪㫋㫌㪻㫐 㫆㪽 㪠㫅㫋㪼㫉㪄㪪㫇㪼㪸㫂㪼㫉 㫍㪸㫉㫀㪸㪹㫀㫃㫀㫋㫐 㫀㫅 㪪㫇㪼㪸㫂㪼㫉 㪭㪼㫉㫀㪽㫀㪺㪸㫋㫀㫀㫆㫅㪃㩷㪠㪜㪜㪜㩷㪫㫉㪸㫅㫊㪸㪺㫋㫀㫆㫅㫊㩷㫆㫅㩷㪘㫌㪻㫀㫆㪃㩷㪪㫇㪼㪼㪺㪿㩷㪸㫅㪻㩷㪣㪸㫅㪾㫌㪸㪾㪼㩷 㪧㫉㫆㪺㪼㫊㫊㫀㫅㪾㪃㩷㪭㫆㫃㪅㪈㪍㪃 㪌㪃 㫇㫇㪅㪐㪏㪇㪄㪐㪏㪏㪃㩷㪉㪇㪇㪏㪅 㪲㪉㪈㪴㩷㪧㪅㪛㫀㫅㪾㪃㩷㪰㪅㩷㪣㫀㫌㪃㩷㪙㪅㩷㪯㫌䋺㵰㪝㪸㪺㫋㫆㫉㩷㪘㫅㪸㫃㫐㫑㪼㪻㩷㪞㪸㫌㫊㫊㫀㪸㫅㩷㪤㫀㫏㫋㫌㫉㪼㩷㪤㫆㪻㪼㫃㫊㩷㪽㫆㫉㩷㪪㫇㪼㪸㫂㪼㫉㪅㩷 㪠㪻㪼㫅㫋㫀㪽㫀㪺㪸㫋㫀㫆㫅㪃㵱 㪠㫅㩷㪧㫉㫆㪺㪅㩷㪠㪚㪪㪣㪧㪃 㫇㫇㪅㪈㪊㪋㪈㪄㪈㪊㪋㪋㪃 㪉㪇㪇㪉㪅 㪲㪉㪉㪴ጊᧄ ༀ㪃㩷ධⷺ ༀ ධⷺ ศᒾ㪃㩷ችፉ ศᒾ ችፉ ජઍ⟤ 㪃㩷ᓼ↰ ᓼ↰ ᕺ৻㪃㩷ർ ᕺ ർ ᱜ㪃㩷㩹ᷙว࿃ሶಽᨆ䈮ၮ䈨䈒⠪ ᱜ 㩹ᷙว࿃ሶಽᨆ䈮ၮ䈨䈒⠪ ⼂䊝䊂䊦䈱䊌䊤䊜䊷䉺᭴ㅧ㩹㩷㔚ሶᖱႎㅢାቇળᛛⴚ⎇ⓥႎ๔㪃㩷㫍㫆㫃㪅㪈㪇㪊㪃㩷㫅㫆㪅㪌㪈㪐㪃㩷㫇㫇㪅㪐㪈㪄 㪄㪐㪍㪃㩷㪛㪼㪺㪅㩷㪉㪇㪇㪊㪅 67
© Copyright 2024 Paperzz