close

Enter

Log in using OpenID

進化的構造適応学習法による砂時計型ニューラルネットワークの最適化

embedDownload
進化的構造適応学習法による砂時計型ニューラルネットワークの最適化
小山
1. まえがき
自然界の生物は環境の変化に適応しながら進化を繰り
返し,生存を続けている.これらの生物が持つ柔軟な適応
能力から着想を得て,生物学的知見を計算機上で実現する
ための理論的研究がなされてきた.代表的な例として,進
化過程を模倣した遺伝的アルゴリズム(以下,GA)や,脳
のニューロン活動をモデル化したニューラルネットワー
ク(以下,NN)などが挙げられる.
NN の応用例のひとつとして,情報圧縮,特徴抽出を行
うための砂時計型 NN が考案されている[1].しかしながら,
こうした実問題に適用する NN は一般に規模が大きく,そ
の学習にかかる時間は軽視できない.そのため,学習時間
に多大な影響を与える初期結合荷重の決定が重要となる.
本研究では,NN による個体の学習と GA による集団の進
化を組み合わせた手法である進化的構造適応学習法[2]を
用いて,顔画像の学習を行う砂時計型 NN の初期結合荷重
の最適化を行う.
2. 砂時計型 NN を用いた顔画像の分類
砂時計型 NN は 5 層からなる階層型 NN であり,入力層,
出力層と比較して中間ニューロンの数が極めて少ないと
いう特徴を有する.この NN に入力を与え,それを復元出
力する恒等写像を学習させることにより,中間層に情報が
圧縮され,そこから特徴表現を抽出できる[3].図 1 に本
研究で用いる砂時計型 NN を示す.この NN の入力としてい
くつかの感情を表出した顔画像を与えれば,学習後の中間
ニューロンの活性値から顔画像の特徴分布を得ることが
できる.この特徴分布を用いれば,訓練データにない顔画
像の表情がどの感情に近いのかを知ることが可能となり,
表情認識などのアプリケーションに応用できる.
ニューロン数 :
255
40
2
40
255
入
力
信
号
達矢
重は乱数で与えるが,この値は学習回数や学習中の収束過
程に多大な影響を与える.そのため,初期結合荷重を乱数
で与える方法は効率的であるとは言えない.そこで,“顔
画像全般”の学習に特化した初期結合荷重を得ることがで
きれば,新しい人物の顔画像を学習する場合でも短時間で
再学習が可能となり,時間的資源を節約できる.
本研究では,顔画像の学習に特化した最適な初期結合荷
重を探索する.そのための手段として,進化的構造適応学
習法を用いる.
4. 進化的構造適応学習法
入力データに対し教師信号が常に一定で変化しない訓
練事例を“静的環境”とし,逆に入力データに対し教師信
号が変化する訓練事例を“動的環境”としたとき,議論の
乏しかった動的環境における有効な学習法として,進化的
構造適応学習法が提案されている.これは環境の変化に適
応する生物の進化の機構に着目し,個体における生涯での
“学習”と,集団における世代をまたいだ“進化”の,2
つの異なる適応過程を,相互補完的なものとして捉えるも
のである.この手法では,集団内の各個体は NN で構成さ
れており,BP 法による結合荷重の修正によって学習を行
う.また GA による遺伝的操作によって個体を再編成し,
進化を実現する.ここで,NN の結合荷重が各個体の遺伝
子となる.本研究の実験は,新しい人物の顔画像を与える
点が動的環境における学習と捉えることができるため,こ
の手法の有効性が期待できる.
5. 計算機実験
本研究では,砂時計型 NN に顔の表情画像を学習させる.
表情変化の多くは画像の低周波成分に反映されるため,顔
画像を 2 次元離散コサイン変換し,その低周波成分のみを
学習データとして扱う.実験では DC 係数を除く 16×16
の領域を用いた.図 2 に,元の顔画像と 16×16 の低周波
成分から復元した顔画像を示す.
出
力
信
号
特徴表現
図 1:砂時計型ニューラルネットワーク
3. 先行研究における課題
文献[3]では,砂時計型 NN によって顔画像を学習させる
実験を行っているが,学習が完了するためにおよそ
60,000 回の BP 学習を要していた.通常,NN の初期結合荷
元画像
2次元離散コサイン変換後
(低周波成分のみ)
図 2:低周波成分から復元した顔画像
Ekman らは表情画像から基本感情の分類を行っており,
それによれば感情カテゴリは大きく分けて“喜び”,“悲
しみ”,“嫌悪”,“怒り”,“恐れ”,“驚き”の 6 基本感
情に分類できると述べている[4].そこで,この 6 基本感
情を表出した顔画像を 2 枚ずつ 7 人分撮影し,そのうち 4
人分のサンプルを訓練事例に用いることとした.残りの 3
人分のサンプルは追加訓練用とする.進化的構造適応学習
法によって得られた解(初期結合荷重)が追加訓練サンプ
ルを少ない回数で学習できるなら,その解は顔画像の学習
に適しているとして評価できる.
5.1
実験 1:GA による探索
集団内の個体数を 20 個体とし,1 世代において 1 個体
が 10,000 回の BP 学習を行う.初期個体の遺伝子は 0 を中
心とした様々な振れ幅の実数乱数で与える.学習後の平均
二乗誤差を基に適合度を算出し,ルーレット選択,多点交
叉,突然変異を施して次世代の子を生成する.次世代へ最
優良個体を 1 個体保存するエリート戦略を用いて,これを
20 世代まで繰り返した.図 3(a)に,各世代における学習
後の 20 個体の集団平均二乗誤差の変動を示す.減少の傾
向が見られるのは 12 世代付近までで,全体的に振動する
形となった.
5.2
集団平均二乗誤差
0.0044
0.0042
実験 3:追加訓練サンプルの学習
実験 1 及び実験 2,また先行実験で行ったランダムサー
チでそれぞれ得られた最優良解を初期結合荷重に用いて,
追加訓練サンプルを学習させた.図 4 に,各学習における
平均二乗誤差の変動を示す.これを見ると,ランダムサー
チで得られた解よりも GA 及び IA によって得られた解を用
いた場合の方が,新しい訓練サンプルを少ない回数で学習
していることがわかる.また,誤差の減少の速さも GA 及
び IA の方が安定している.これはランダムサーチが特定
のパターンに対して偶然的に速く学習できた場合も解を
高く評価するのに対し,GA 及び IA を用いた場合では徐々
に解の評価を上げていくため,特異的な個体が淘汰された
ためと考えられる.また GA よりも IA を用いた場合の方が
解の収束が速く,追加訓練の学習も少ない回数で収束した.
6. まとめ
本研究では NN を GA で最適化することによって,顔画像
を学習する砂時計型 NN の初期結合荷重の最適化を行った.
(a) 実験1
IA
(b) 実験2
0.0040
0.0038
GA
0.0036
0.0034
0.0032
0.0030
0.0028
2
4
6
8
10
12
14
16
18
20
世代数
実験 2:GA を IA に差し替えた探索
実験 1 の発展として,GA の代わりに IA(免疫アルゴリ
ズム)を用いて実験を行った.IA では,各世代における
最優良個体を記憶細胞として保存し,これと類似した子が
生成されないように抑制することで集団の多様性を維持
する.そのため,IA を用いることで最適解を発見できる
可能性が GA よりも高くなると考えられる.図 3(b)に,IA
を用いた場合の集団平均誤差の変動を示す.実験 1 と比較
して,GA を用いた場合よりも振動が激しくなっているが,
これは集団の多態性の維持によって,より広い解空間を探
索したためと考えられる.12 世代目以降では GA よりも集
団誤差が小さくなった.
5.3
その結果,複数の人物の顔画像に対して,ランダムサーチ
で得たものより少ない学習回数で誤差が収束する初期結
合荷重を得ることに成功した.この成果は,実時間内で動
作するような表情認識のアプリケーションなどに応用で
きる可能性がある.今後の課題としては, BP 法に代わる
BPQ 法の採用や,IA のパラメータ調整など,提案手法の更
なる改良が考えられる.
図 3:学習後の集団平均誤差の変動
平均二乗誤差
0.0036
(a) GA
(b) I A
0.0032
(c) ランダムサーチ
0.0028
0.0024
0.0020
0.0016
0
4000
8000
12000
16000
20000
学習回数
図 4:追加訓練サンプルの学習の比較
参考文献
[1] Malthouse,E.C.,“Limitaions of nonlinear PCA as
performed with generic neural networks ”, IEEE
Trans.On Neural Networks,9,165-173,1998.
[2] 大枝真一他,“進化論に基づくニューラルネットワ
ークの構造適応学習アルゴリズムの構成”,情報処
理学会誌, Vol.5, No.8,pp.72-73, 2004.
[3] 市村匠,大枝真一他,“並列砂時計型ニューラルネッ
トワークと情緒生起手法を用いた感情指向型インタ
フェースの応用”,ヒューマンインタフェース学会誌,
Vol.3,No.4,pp.225-238,2001.
[4] Ekman,P. ,“表情分析入門”,誠信書房,1987.
Author
Document
Category
Uncategorized
Views
1
File Size
397 KB
Tags
1/--pages
Report inappropriate content