SOM型学習と反ヘブ学習による複雑型細胞の受容野形成モデル

SOM型学習と反ヘブ学習による複雑型細胞の受容野形成モデル
A model of complex cell development by the combination of SOM-type and anti-Hebbian learning
∗
∗∗
伊達 章 , 倉田 耕治
∗ 情報通信研究機構 けいはんな情報通信融合研究センター, ∗∗ 琉球大学工学部 機械システム工学科
目的
複雑型細胞がもつ性質は,神経活動の時間的持続性を利用したヘブ学習
(トレース学習)により説明されてきた.従来のモデルで示された結果
と同等な性質を,トレース学習なしに実現できる可能性を示したい.
¶
µ
結論
トレース学習なしに複雑型細胞のもつ位置不変な選択性が獲得できる
モデルを開発し,その性質を計算機実験により確認した.モデルは外側
漆状核 (LGN) と視覚一次野の単純型細胞および複雑型細胞の神経活動
をそれぞれモデル化した E 層,S 層および C 層からなり,C 層の各素子
が E 層と S 層から入力を受け学習により選択性を獲得する.学習アルゴ
リズムとして,E 層と C 層の間には反ヘブ学習,S 層と C 層間には自己
組織マップ(SOM)型のヘブ学習を用いた.
¶
µ
¶
1
¶
2
³
学習アルゴリズム
µ
´
´
mij,, wik
³
!"#%$ ) & '()*+-,.
0
1
2
5
3
%
4
6
7& ,.
C/
89:; &7<%=">8?
´
³
位置不変性獲得の自己組織化モデル
µ
³
4
3
2
1
@
0
!
1
A
"
%
4
%
6
!
B
D
C
E
H
F
I
G
:
;
E/
C/
&7<%=">8?
´
1. 近傍学習:
∆mi = αhci(x − mi)
|c − i|2
hci = exp {−
}
2
2σ
Hebb
Hebb
S
入力刺激
x
mi
α
c
C
mij
∆wik = −γ (uk yi − β)
(5)
i = 1, · · · , 4, k = 1, · · · , 64
(6)
1 if
i=c
0 otherwise
yi =
(7)
静的パターン (長さ 3 の線分)
入力信号 (8 × 8 × 4 次元)
yi
C 層の i 番目の素子の出力
C 層 i 番目の素子の参照ベクトル
uk E 層の k 番目の素子の出力
学習の強さを表す正の実数
β = E[u¯k ]E[ȳi] = 0.0117(= 3/64 × 1/4).
勝者
P64
c = argmin (− k=1 wik uk + ||mi − x||2)
i
wik
uk
(4)
(
E
xj
2. 反へブ学習:
本モデルの特徴: 式 (6) により,学習過程の平衡状態では,結合 wik が結ぶ二個の素子の
活動 uk , yi は統計的に独立になる.E 層 uk は入力刺激の場所を表現している.C 層 yi が
入力刺激の線分方向のみの情報を表現するようになると E 層と C 層の表現は独立になる.
yi
¶
1000000...
Image I(x, θ)
3
³
計算機実験 結果 その 1: 提案モデル(反 Hebb 項あり)
µ
´
a
3
x
θ
θ
α
I(x, θ) ⇒ θ
2 34
1
x
b
β
E
C
γ
Figure 1: 上:複雑型細胞の位置不変な反応選択性.中:提案するモデルの構造.Földiák(1991) のモデル
に,場所にのみ選択的に反応する素子からなる層(E 層)を考慮した構造になっている.下:本モデルの
情報処理構造 (模式図)
¶
µ
0
c
³
背景: Földiák (1991) のモデル
Layer S
´
d
Layer C
Hebb-type
(Temporal Trace)
wij
Simple units
xj
Complex units
Figure 3: 参照ベクトルおよび反応選択性の初期状態と学習後.a, c 参照ベクトル mi, i = 1, · · · , 4. b,d
反応選択性.a, b は時間 t = 0,c, d は時間 t = 60000 のときの状態.mi の分布は,最も大きい値をもつ結
合を白,最も小さい値をもつ結合を黒となるように変換して表示.
yi
¶
Figure 2: 入力層 (左.S 層)の各場所には 4 方向の線分検出素子(単純型細胞)が配置されている.S 層の
各素子は,学習前,出力層(右,C 層)の各素子と全結合している.その結合荷重 wij は神経活動の持続
性を利用したヘブ学習(トレース学習)により可塑的に変化し,学習が進むに従い,S 層の同じ傾きの線
分検出素子どうしが,出力層 (C 層) の同一素子と結合するようになる.
Földiák (1991) の学習アルゴリズム:
yk =
(t)
∆wij
ȳi(t)
入力刺激
t
(t)
wij
xj
yi
ȳi
=
=
(t)
(t) (t)
αȳi (xj − wij )
(t)
(t−1)
(1 − δ)ȳi
+ δyi
(1)

1
if argmax (
0
otherwise
P256
i
j=1 wij xj )
µ
4
³
結果 その 2:
(反 Hebb 項なし)
=k
(3)
(2)
8 種類:4 種類の傾き ×2 種類の動きの方向の動的パターン
時刻 t
S 層の j 番目の素子と C 層の i 番目の素子との結合荷重
S 層の j 番目の素子の出力, j = 1, . . . , 256
C 層の i 番目の素子の出力, i = 1, · · · , 4
yi の時間平均
Figure 4: E 層から C 層への結合がない場合.他の条件はすべて図 3 の場合と同一
´