深層学習基本語彙深層学習基本語彙（ 40 分で！図付き！） Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 深層学習基本語彙予測問題 x が与えられ y を予測 2 深層学習基本語彙例：感情極性推定 x y I am happy +1 I am sad -1 3 深層学習基本語彙線形分類器 (linear classifier) T y = step(w ϕ( x)) ● ● ● x: 入力 φ(x): 素性列 w: 重み列 y: 予測結果、 yes なら +1 、 no なら -1 y ● 2 1 0 -4 -3 -2 -1 0 1 2 -1 -2 step(w*φ) 3 4 4 深層学習基本語彙素性関数の例：ユニグラム素性 φ(I am happy) {} 1 0 1 0 0 1 … I was am sad the happy φ(I am sad) {} 1 0 1 1 0 0 … 5 深層学習基本語彙パーセプトロン ● 素性の重み付き和を計算し、活性化関数に代入する w ϕ ( x) T step( w ϕ (x )) y 6 深層学習基本語彙シグモイド関数 ( ロジスティック関数 ) ● シグモイド関数はステップ関数を柔らかくしたもの w⋅ϕ ( x) e P( y =1∣x)= w⋅ϕ (x) 1+e シグモイド関数ステップ関数 1 p(y|x) p(y|x) 1 0.5 -10 -5 0 0 w*phi(x) ● ● 5 10 不確実性（確率）を考慮微分可能 0.5 -10 -5 0 0 5 10 w*phi(x) 7 深層学習基本語彙ロジスティック回帰 (logistic regression; LR) ● ● 条件付き尤度最大化基準で学習 x が与えられたときの正解 y の条件付き尤度を最大化するパラメータ w を獲得 w=argmax ^ ∏i P( yi∣x i ; w) w ● 解き方は？ 8 深層学習基本語彙確率的勾配降下法 (stochastic gradient descent; SGD) ● ● ロジスティック回帰を含む確率モデルのための学習アルゴリズム w=0 for I iterations for each labeled pair x, y in the data w += α * dP(y|x)/dw つまり ● ● 各学習例に対して勾配を計算（ y の確率が上がる方向）その方向へ、学習率 α をかけた分だけ動かす 9 深層学習基本語彙 ● 確率の微分 w⋅ϕ ( x) d P ( y=1∣x ) = dw d e d w 1+e w⋅ϕ (x) w⋅ϕ (x) e = ϕ (x ) w⋅ϕ (x) 2 (1+e ) d P ( y=−1∣x ) = dw dp(y|x)/dw*phi(x) シグモイド関数の勾配 0.4 0.3 0.2 0.1 -10 -5 0 0 5 10 w*phi(x) w⋅ϕ (x) d e (1− ) w⋅ϕ (x) dw 1+ e w⋅ϕ (x) e = −ϕ (x ) w⋅ϕ (x) 2 (1+ e ) 10 深層学習基本語彙ニューラルネット 11 深層学習基本語彙問題：線形分類不可能な関数の学習 ● ● パーセプトロンは線形分類しかできない X O O X 例：「 I am not happy 」 12 深層学習基本語彙ニューラルネット ( 多層パーセプトロン ) ● ニューラルネットで、複数のパーセプトロンを連結 ϕ ( x) -1 13 深層学習基本語彙例：非線形分類 ● ２つの分類器を作成 φ(x1) = {-1, 1} φ(x2) = {1, 1} X φ2 O φ1 O X φ(x3) = {-1, -1} φ(x4) = {1, -1} φ1 1 φ2 1 1 -1 w1 y1 w2 y2 φ1 -1 φ2 -1 1 -1 14 深層学習基本語彙例：非線形分類 ● 入力を新しい空間へ写像 y(x3) = {-1, 1} φ(x1) = {-1, 1} φ(x2) = {1, 1} X φ2 O O y2 φ1 O y1 X X φ(x3) = {-1, -1} φ(x4) = {1, -1} 1 1 -1 y1 -1 -1 -1 y2 y(x1) = {-1, -1} y(x4) = {-1, -1} O y(x2) = {1, -1} 15 深層学習基本語彙例：非線形分類 ● 新しい空間で線形分類が可能！ φ(x1) = {-1, 1} φ(x2) = {1, 1} φ2 X O φ1 O 1 1 1 X y3 φ(x3) = {-1, -1} φ(x4) = {1, -1} 1 1 -1 -1 -1 -1 y1 y(x3) = {-1, 1} O y2 y1 y2 y(x1) = {-1, -1} y(x4) = {-1, -1} X O y(x2) = {1, -1} 16 深層学習基本語彙例：非線形分類 ● 最終的なニューラルネット φ1 1 φ2 1 1 -1 w1 φ1 -1 φ2 -1 1 -1 1 1 w3 y4 w2 1 1 17 隠れ層活性化関数ステップ関数： - 勾配が計算不可 2 2 1 1 0 0 -1 y y 線形関数： - ネット全体が線形関数 -4 -3 -2 -1 0 1 2 3 -4 -3 -2 -1 4 双曲線関数：標準（ 0-1 のシグモイドも） 1 2 3 4 Rectified 線形関数： + 大きな値でも勾配が大きい 2 1 1 0 0 y 2 -1 0 w*φ step(w*φ) y -1 -2 -2 -4 -3 -2 -1 深層学習基本語彙 0 1 -2 tanh(w*φ) 2 3 4 -4 -3 -2 -1 0 -1 1 2 3 4 -2 relu(w*φ) 18 深層学習基本語彙深層ネット (deep networks) ϕ ( x) ● ● なぜ深層徐々に複雑な関数を表現 ( 例 [Lee+ 09]) 19 深層学習基本語彙ニューラルネットの学習 20 深層学習基本語彙学習：隠れ層の勾配が分からない ● 出力層のタグしか分からない h( x) w1 d P( y=1∣x) =? d w1 d P( y=1∣x) e w ⋅h(x ) =h (x) w ⋅h( x) 2 d w (1+ e ) 4 w 4 ϕ ( x) w2 w3 4 4 y=1 d P( y=1∣x) =? d w2 d P( y=1∣x) =? d w3 21 深層学習基本語彙逆伝搬 (back propagation) ● 連鎖律を使って計算 d P( y=1∣x) d P( y=1∣x ) d w 4 h(x ) d h1 (x ) = d w1 d w 4 h( x) d h1 (x) d w 1 w 4⋅h( x ) e w ⋅h( x) 2 (1+e ) w 1,4 次の層のエラー (δ4) 重み 4 一般には i を次の層の j のエラーで計算勾配 d P( y=1∣x) d hi ( x) = δ w ∑ j i, j j wi d wi 22 深層学習基本語彙深層ネットの逆伝搬：消える勾配 y ϕ ( x) δ=-8e-7 δ=9e-5 δ=6e-4 δ=-2e-3 δ=0.01 δ=1e-6 δ=7e-5 δ=-1e-3 δ=5e-3 δ=0.02 δ=0.1 δ=2e-6 δ=-2e-5 δ=-8e-4 δ=1e-3 δ=-0.01 ● 爆発的に増える勾配も 23 深層学習基本語彙層ごとの学習 (layerwise training) ϕ ( x) ● X y 層を、入力に近い側から１つずつ学習 24 深層学習基本語彙層ごとの学習 (layerwise training) ϕ ( x) ● X y 層を、入力に近い側から１つずつ学習 25 深層学習基本語彙層ごとの学習 (layerwise training) ϕ ( x) ● y 層を、入力に近い側から１つずつ学習 26 深層学習基本語彙オートエンコーダ ( 自己符号化器 ) ● ネットの初期化として、入力を復元するように学習 ϕ ( x) ● 利点：正解ラベル y が不要！ ϕ ( x) 27 深層学習基本語彙 ● 問題：過学習ドロップアウト X ϕ ( x) ● ● X XX X XX y 各更新ごとに、ネットの一部を無効化アンサンブル学習の一種 28 深層学習基本語彙特殊な構造のネット 29 深層学習基本語彙リカレントニューラルネット (recurrent neural net; RNN) ● ● y1 y2 y3 y4 NET NET NET NET x1 x2 x3 x4 系列データのモデル化に有用例：音声の音響モデル 30 深層学習基本語彙畳み込みネット (convolutional neural net; CNN) y x1 ● ● (x1-x3) (x2-x4) (x3-x5) x2 x3 x4 x5 空間内の「距離」に意味のあるデータをモデル化例：画像 31 深層学習基本語彙再帰的ニューラルネット (recursive neural nets) y NET NET NET ● ● x1 x2 x3 x4 木構造のデータのモデル化に有用例：言語データ NET x5 32 深層学習基本語彙その他のトピック 33 深層学習基本語彙その他のトピック ● DBN (deep belief net) ● ● ● ● ● ● ● ● 制限付きボルツマンマシンコントラスティブ・ダイバージェンスニューラルネットによる生成ネットの状態の検証・可視化バッチ・ミニバッチ更新 LSTM (long short-term memory) GPU を用いた学習深層学習ライブラリ 34