ホップフィールドネットワークへ導入する
仮想磁場パラメータ臨界値の検討
佐賀大学
○井上太一
福本尚生
和久屋 寛
古川達也
伊藤秀昭
A Consideration on Critical Value of Virtual Magnetic Parameter
Applied to Hopfield Network
Taichi Inoue ,
Hiroshi Wakuya ,
Hideaki Itoh , Hisao Fukumoto and Tatsuya Furukawa
Saga University
Abstract :
A Hopfield network is a good tool for solving combinatorial optimization problems. But energy local
minima which lead us to incorrect solutions are distress since its proposal. In order to overcome its
drawback, a virtual magnetic diminuendo (VMD) method is proposed several years ago. According
to some analysis on its working mechanism, it is found that a critical value of the virtual magnetic
parameter, which controls the easiness of neuron firing, is essential to improve the score. Then, in order
to confirm this theory, a number place problem, also known as Sudoku, is adopted in this study. As
a result of some computer simulations, it is concluded that the score is changed along with the theory
which we have expected in advance.
1. まえがき
2. 仮想磁場漸弱法（VMD 法）
組み合わせ最適化問題とは，多数の制約条件の組み合
ホップフィールドネットワークとは，物理学におけるス
わせの中から最適な解候補を探索するものである．これ
ピングラス理論との類似性に着目して考案されたニュー
を大別すると，次のとおりである．
ラルネットワークの一種である．そのエネルギー E は，
• 最終的にエネルギーを零とするもの
スピングラス理論におけるハミルトニアンとの関係から，
まず式 (1) のように定まる．
• 事前に定めた評価尺度を最小化するもの
前者には N クイーン問題や数独（ナンバー・プレイス問
E=−
N N
N
∑
1 ∑∑
Wij Vi (t)Vj (t) +
θi Vi (t)
2 i=1 j=1
i=1
(1)
題）があり，後者には巡回セールスマン問題（TSP）が
ここで，Wij はニューロン j からニューロン i への結合
含まれる．ホップフィールドネットワーク [1] は，その解
荷重，θi はニューロン i の閾値を表している．時刻 t に
探索法として有用である．
おけるニューロン i の出力を Vi (t) とおくと，次の時刻
ところでホップフィールドネットワークは，エネルギー
t + 1 における各ニューロンの出力は，
( N
)
∑
Vi (t + 1) = f
Wij Vj (t) − θi
減少方向への状態遷移を繰り返して解探索を行うが，初
期値によっては極小値に陥ってしまい，最適解を求めら
れないという問題点がある．その解決策として，ボルツ
{
マンマシン [2] をはじめとする様々な手法が考案されてお
f (z) =
り，その中に仮想磁場漸弱法（VMD 法）[3] がある．こ
れは，ニューロン閾値（仮想磁場パラメータ）を制御する
簡便なものであり，ニューロンの発火の容易さを制御し
て解探索を行っている．先行研究 [4][5] では，クロスバ・
スイッチ問題や N クイーン問題を取り上げて動作メカニ
ズムを検討した結果，一定の間隔で仮想磁場パラメータ
に臨界値が存在し，これを飛び越えることが重要である
と判明している．そこで本研究では，従来とは異なる問
題として数独を取り上げ，臨界値について検討を行う．
(2)
j=1
1， z ≥ 0
(3)
0， z < 0
と表される．本研究では，ある時刻に全てのニューロン
が 1 つずつ選ばれて式 (2)，(3) の繰り返し計算を一通り
行う非同期式を採用する．ここで，ニューロンが選ばれ
て更新される時間間隔を τ (=1/N) とすると，ニューロン
の出力は，
τ + 1)
=f
Vi t +
N
(
(
N
∑
j=1
(
Wij Vj
τ )
− θi
t+
N
)
(4)
㼥㻘㼎䚷䚷䚷䚷䚷
௬☢ሙ䝟䝷䝯䞊䝍䃗㼑㻌㻌㻌㻌㻌㻌㻌
㻜
㼠㼙㼍㼤
㼠㻝
้㼠
䃗㼑㻜
㻥
㻣
㻡
㻥
㻠
㻟
㻝
㻢
㻤
㻞
㻤
㻤
㻠
㻞
㻢
㻡
㻥
㻟
㻣
㻝
㻣
㻢
㻟
㻝
㻣
㻞
㻤
㻡
㻠
㻥
㻢
㻟
㻣
㻠
㻥
㻢
㻡
㻞
㻝
㻤
㻡
㻥
㻞
㻢
㻝
㻤
㻟
㻣
㻡
㻠
㻠
㻡
㻝
㻥
㻞
㻠
㻣
㻥
㻟
㻢
㻟
㻠
㻢
㻟
㻡
㻝
㻞
㻤
㻥
㻣
㻞
㻞
㻥
㻡
㻤
㻣
㻠
㻝
㻢
㻟
㻝
㻝
㻤
㻣
㻟
㻥
㻢
㻠
㻞
㻡
㻝
㻞
㻟
㻠
㻡
㻢
㻣
㻤
㻥
図 1. 仮想磁場パラメータの制御スケジュール
㼤㻘㼍
図 2. 数独の正解例
のように表される．VMD 法の基本的なアイデアは，ニュー
Θi (t) = θi + θe (t)
㼥㻘㼎
ロンの閾値 θi に仮想的な磁場パラメータ θe (t) を重畳して，
(5)
㻞
㻟
㻠
㻝
㻠
㻟
(6)
㼦㻘㼏
と置換し，この θe を，
(
)
−θ 1 − t ， t ≤ t
e0
1
t1
θe (t) =
0，
t1 < t ≤ tmax
のように操作することでニューロンの発火の容易さを変
㻞
㻝
える．図 1 に，仮想磁場パラメータの制御スケジュール
を示す† ．これにより，ネットワークの状態が変化し，そ
㻝
㻞
㻟
㻠
㼤㻘㼍
の結果，エネルギー関数の形状が変化してエネルギー極
図 3. 数独を解くためのニューロ表現
小値を脱出することが可能となり，再び解探索を始める
ことになる．
3. 数独への適用例
自分以外の全てのニューロンと結合しているような構成
本研究では，組み合わせ最適化問題の中で，数独（ナ
を考える．そして図 2 のように，x と a は横方向，y と b
ンバー・プレイス問題）を取り上げる．数独とは，図 2
は縦方向に対応させる．また，z と c は同一のマスに入
に示すとおり，9 × 9 の格子状に配列されたマスにおい
れる数字を表しており，一段目が「1」，二段目が「2」と
て，次のような 3 条件を満たすものを正解とする．
いうように対応づける．このとき，ニューロン (x, y, z)
の出力 Vxyz を用いてエネルギー関数を表すと，後述の式
1. 横方向には，1 から 9 までの数字が重複せずに入る.
2. 縦方向には，1 から 9 までの数字が重複せずに入る．
(7)∼(11) のようになる．ここで，条件 1 から 3 は上述の
ものと対応しているが，条件 4 については，ニューラル
3. 太枠で囲まれた 3 × 3 のマスの中に，1 から 9 まで
ネットワークで表現するため，今回新規に導入したもの
の数字が重複せずに入る．
本来であれば，一部のマスには事前に数字が入っており，
上の条件を満たすように空欄を埋めていくが，ここでは
解の一つを見つけるだけとする．
上述のとおり，数独は 9 × 9 が一般的であるが，ホップ
フィールドネットワークへ適用するにあたり，簡単化の
ため，ここでは 4 × 4 の簡易版を採用する．具体的には，
である．なお，ここで数独を解くためのニューロ表現法
を整理しておくと，例えば (x, y, z) = (2, 3, 2) のニュー
ロンが「1」ときは，(x, y) = (2, 3) の場所へ数字「2」が
入ることを意味している．
［条件 1］
各行（x 方向）に「1」が一つだけ入り，残りは「0」と
する．
図 3 に示すように一つ一つのマスがニューロンを表し，
† これは一例であり，一度，負値から正値とした後に零へ戻すよう
な制御スケジュールもある [6]
E1 =
4 ∑
4
∑
y=1 z=1
(
4
∑
x=1
)2
Vxyz (t) − 1
(7)
と比較することで，結合荷重 Wxyz,abc と閾値 θxyz が，
Wxyz,abc = − 2A(1 − δxa )δyb δzc − 2B(1 − δyb )δxa δzc
ϰ
− 2C(1 − δxa δyb )δzc − 2D(1 − δzc )δxa δyb
(13)
θxyz = −(A + B + C + D)
㼦㻘㼏㻌㻌㻌㻌
ϯ
(14)
とそれぞれ定まる．なお，結合荷重 Wxyz,abc については，
異なる 2 × 2 の小領域にまたがるものはないので，一部
Ϯ
で右辺第 3 項を零とする場合がある．これらを用いると，
ϰ
次の時刻の各ニューロンの出力 Vxyz は，次式のように
ϭ
ϭ
Ϯ
ϭ
ϯ
㼥㻘㼎
㻌㻌
㻌
ϯ
Ϯ
ϰ
㼤㻘㼍
図 4. (x, y, z) = (2, 3, 2) のニューロンと結合をもつと
なる． (
τ + 1)
Vxyz t +
3
( 4 44 4
)
(
∑∑∑
τ )
=f
Wxyz,abc Vabc t + 3 − θxyz
4
a=1 b=1 c=1
ころ
(15)
そして，式 (15) に従って状態遷移を行い，最終的なエネ
［条件 2］
各列（y 方向）に「1」が一つだけ入り，残りは「0」と
ルギー E が零となったときに数独の正解が求まる．
する．
4. 計算機シミュレーション
E2 =
4 ∑
4
∑
(
4
∑
)2
Vxyz (t) − 1
(8)
まず，先行研究 [4][5] を参考にして仮想磁場パラメータ
y=1
x=1 z=1
4. 1 事前準備
の臨界値を求める．本研究では，エネルギー関数の重み
［条件 3］
四つある 2 × 2 の小領域に，それぞれ「1」が一つずつ入
付け定数を A = B = C = D = 1000 として，以下の議
り，残りは「0」とする．
( 2i
2 ∑
2 ∑
4
∑
∑
E3 =
論を行う．このとき，一つのニューロンから縦方向，横
i=1 j=1 z=1
2j
∑
)2
Vxyz (t) − 1
方向，高さ方向，同一小領域内にそれぞれ特定の結合が
(9)
x=2i−1 y=2j−1
存在する．例えば (x, y, x) = (2, 3, 2) のニューロンに着
目すると，周辺の 10 個のニューロンとの間に非零の結合
［条件 4］
がある．これは図 4 において彩色された部分である．こ
それぞれ高さ方向（z 方向）に「1」が一つだけ入り，残
の事実に基づき，式 (13) に沿って計算すると，大部分の
りは「0」とする．
結合荷重は −2000 となるが，縦方向あるいは横方向と小
E4 =
4 ∑
4
∑
(
x=1 y=1
4
∑
)2
Vxyz (t) − 1
領域が重複しているニューロンとの結合荷重は −4000 と
(10)
z=1
ここで，ネットワーク全体のエネルギー関数を E と置く
と，A，B ，C ，D を重み付け定数として，
E = AE1 + BE2 + CE3 + DE4
(11)
トワークのエネルギー
1 ∑∑∑∑∑∑
Wxyz,abc Vxyz (t)Vabc (t)
2 x=1 y=1 z=1 a=1
c=1
4
4
4
4
4
4
b=1
+
4 ∑
4 ∑
4
∑
x=1 y=1 z=1
θxyz Vxyz (t)
重によって定まるため，今回は −2000 であり，それ以降
は 2000 の倍数で等間隔に存在する．
4. 2 シミュレーション方法
と表されるので，これを整理して，ホップフィールドネッ
E= −
なる†† ．一般に，仮想磁場パラメータの臨界値は結合荷
(12)
ここでは，閾値 θxyz を，
Θxyz (t) = θxyz + θe (t)
(16)
と置換し，異なる 1000 通りの初期状態について θe の初
期値 θe0 を変化させたときの正答率を調べる．今回，θe0
は 0 からはじめて 2000 ごとに減少させ，−26000 まで変
†† 図 4 の例では，具体的に (x, y, z) = (1, 3, 2), (2, 4, 2) の二箇所と
なる．
がって，このときの正答率は，100 ％か 0 ％の二者択一
である．
ṇ⟅⋡[%]
5. 考 察
先行研究 [4][5] では，専ら仮想磁場パラメータが零を
跨ぐところのみを用いていたが，それ以外の部分での効
果も事前に予想されており，今回，それを実際に確認す
ることができた．ただし，当初考えられていたほどの劇
的な改善ではなかったようで，その理由についても検討
する必要があろう．また今後は，動作メカニズムは同じ
௬☢ሙ䝟䝷䝯䞊䝍䛾ึᮇ್䃗e0[㽢103]
(a) 全体の様子
であるが，これまであまり臨界値に関する詳細な検討は
行われていない結合荷重制御法（CSW 法）[7] について
も取り組んでいきたいと考えている．
6. あとがき
本研究では，仮想磁場漸弱法に関する先行研究 [4][5] で
ṇ⟅⋡[%]
判明していた仮想磁場パラメータの臨界値について，従
来とは異なる問題である数独に適用して検討した．その
結果，正答率改善の程度については検討の余地があるも
のの，ほぼ理論どおりであることが計算機シミュレーショ
ンによって確認できた．
参考文献
௬☢ሙ䝟䝷䝯䞊䝍䛾ึᮇ್䃗e0[㽢103]
(b) 拡大したもの
図 5. 計算機シミュレーションの結果
化させた．また，事前に変化が予想される臨界値周辺に
ついては，1 刻みで ±3 の範囲を詳しく測定した．なお，
θe (t) の制御スケジュールは図 1 のとおりとし，式 (6) で
t1 = 10，tmax = 15 とした．
4. 3 シミュレーション結果
4.2 で言及した条件でシミュレーションを行った結果，
正答率は図 5(a) に示すように変化をした．なお，θe0 = 0
のときの結果（19.9 ％）が，仮想磁場パラメータを導入
しない従来法と同一である．また，正答率 20 ％付近を
拡大したものを図 5(b) に示す．これによると，正答率は
θe0 が −2000 から 2000 ずつ減少するごとに，増減を繰り
返しており，その間では一定となっている．VMD 法が，
エネルギー関数の形状を変化させることで極小値から脱
出しているのであれば，その導入によって常に正答率が
改善する保証はない．今回は，それが顕在化したようで
ある．また，θe が −20000 より小さい場合は，仮想磁場
パラメータの印加によって初期状態の多様性が消失して
しまい，最終的な結果が一通りとなってしまった．した
[1] J.J.Hopfield and D.W.Tank : “ ‘Neural’ computation
of decisions in optimization problems”, Biol.Cybern.,
Vol.52, pp.141-152, 1985
[2] D.H.Ackley, G.E.Hinton, and T.J.Sejnowski : “A learning algorithm for Boltzmann machines”, Cognitive Science, Vol.9, pp.147-169, 1985
[3] H.Wakuya : “A new search method for combinatorial optimization problem inspired by the spin glass system”, In
Brain-Inspired IT II, ICS 1291 (Eds.K.Ishii, K.Natsume
and A.Hanazawa), pp.201-204, Elsevier, 2006
[4] 山下清貴，和久屋寛 : “ホップフィールドネットワークにお
ける状態遷移過程の可視化表現 ∼組み合わせ最適化問題の
解探索のとき∼”, 信学技報, NC2008-28, 2008
[5] 山下清貴，和久屋寛 : “ホップフィールドネットワークにお
ける状態遷移過程の可視化表現 ∼N クイーン問題の解探索
への適用∼”, 信学技報, NC2008-60, 2008
[6] 和久屋寛，宮崎真梨 : “仮想磁場漸弱法：磁場パラメータ
を導入した組み合わせ最適化問題の解探索法とその有効
性”, 知能と情報（日本知能情報ファジィ学会誌）, Vol.20,
pp.872-882, 2008
[7] H.Wakuya and K.Yamashita : “A new type of Hopfield network with controllable synaptic weights for solving combinatorial optimization problems”, Int. J. of Innovative Computing, Information and Control, Vol.5,
pp.5051-5060, 2009
© Copyright 2024 Paperzz
