ニューラルネットワークからのルール抽出 福見 稔 徳島大学 まえがき に難しい．人間の知識を有効に利用する場合などには効 果的であるかもしれないが，まだ研究途上である． ソフトコンピューティングと言われる計算技法の一つ 本解説では，ルール抽出の意味，必要性，現状と課題， であるニューラルネットワーク 以後 と略記 はその さらには著者の研究などについて解説している．なお，近 学習能力により工学的に膨大な領域で利用されている 年ルール抽出に関するサーベイ論文も出版され出してい が，多くの場合ブラックボックスとして利用されている． るので，各手法の細部までは触れない． 産業応用の観点から見るとこのブラックボックスとして の利用は現場の開発者の利用促進にプラスとなっていな い．例えば， をパターン認識アルゴリズムとして使 用する場合，入力データと望ましい応答を に与えて ルール抽出の必要性 では，学術的な側面からこの からのルール抽出を 教師有り学習を行うことにより，認識アルゴリズムが自 考えるとどうであろうか？ 動的に構築される．しかし， がどのような基準でパ データからの規則性の発見 ターン認識を実現しているのかが全く分からないのであ （抽出）は，機械学習などの領域で研究され，その重要 る．従来の産業機械では，認識アルゴリズムを作成する 性が認識されていた（知識獲得など）．情報量を最大に 場合，機械の設計者（開発者）が経験と勘に基づいて識 するようなクラス分けを行う決定木を作成する 別式を作成する．そして実際に認識実験を行うことによ の発展形である ， などが開発されている ． やそ り，その識別式を修正していく場合が多かった．したがっ 年代後半頃からは， て， の利用は分野によっては学術的なものに限られ し，，，石川 ている場合も少なくない． には佐野 による代表的な研究が行われた．これら以外 を用いる方法が注目され出 や ，さら の知識がほとんど無い人（利用者）にブラックボッ にも多くの研究が行われている． とファジィの結合 クスとしての利用を勧めても利用者は納得しないであろ に関する研究も日本で多数行われており規則抽出とも関 う．設計者も「どのように認識しているのか？」と聞かれ 連するが，詳細は文献 に譲る．共通する背景として ると説明できない．結局は，従来の方法（テンプレート は，上記と同様に， 「学習済みの人工的 に埋め込まれ マッチングなど）を使用することが多くなる．もし， ［この た知識を抽出したい」．ということである．言い換えれ はこのように学習され，結果としてこのようなルール ば， 「その入出力データを生成した数学的機構 パラメー を生成でき，したがってこの評価基準で認識（処理）して タ空間 を解明する」，ことである． います］，と説明可能であれば利用者の増加促進に大きな 単に入出力データの組み合わせを記憶することではな 効果があると考えられる．ここで言うルール抽出 い．例え， にデータを教師あり学習させたとしても， とは， 「入力データと出力データの組み合わせから入出力 それは単に記憶しただけと何ら変わり無い．さらに言え データ間に内在する関係を規則として抽出する」，とい ば，初期の知識を洗練する，推論・説明能力を与える，と うことである．最近のデータマイニングとも密接に関連 いうことであろう．学習済みの が与えられても結果 している． に対する評価基準が明確でなければ実際には（利用した くても）使えないのである．特に，安全性に関わるよう にルールを埋め込み，洗練化学習を行い，その後 ルール抽出する方法も研究されつつある な場合（交通制御，大型プラントの操作，医学的診断な が，真 ど）には，その要求は高いであろう． の意味での応用が未だ無く，その有効性の検証は比較的 Ｂ ｌａｃｋ Ｂ ｏｘ ？ ｉｆ．．． ｔｈｅｎ．．． ｅｌｓｅ ．．． 図 ルール抽出と のブラックボックス性 また，ルール抽出を行う研究者（開発者）により，そ 学習させた場合もあるが，これはデータを記憶しただけ の取り組む立場はかなり異なっている．立場を異にする であり真の意味での学習には至っていない点は重要であ 一つの要因は，研究の目的が最終的に産業応用にあるの ろう ．また，この閾値型のルール表現を から抽出 か，それとも学術的立場に固執するのか，である．産業 しようとする研究では，最初から数学的記述の導出を諦 応用を目的とする場合には，パターン認識関連の機械の めている．パターン識別問題であっても数式により表現 場合，識別精度が最優先されることが多く，ルールの簡 できる可能性はあり，数学的関数の抽出を投げ出してい 単化・理解のし易さは二の次になる．一方，学術的研究 ることは問題である． が目的である場合には，識別精度も重要であるがルール の簡単化・理解のし易さなどが最優先されることが多い． 例えば，学術的研究では 属性からなる不等式ルールが 多い．例えば クラス分離問題では， !"# ここでの規則性の抽出法は多層構造のネットワークか ， ルールの抽出法 らのルール抽出に焦点を当てる．サーベイ論文 も あるので細部には立ち入らない． さて，規則を抽出する場合に重要視するべき点は， の形式である．しかし，このようなルール表現に限定さ れると，多くの場合に識別精度の改善に限界が生じる．し たがって，産業的立場からは多少のルールの複雑化を招 がある ．例として， $ ルールの抽出は容易か．パラメータ設定などの操作 が必要か．演算量や複雑さは？ ， の凡化能力（信頼性）を低下させずにルール抽 出可能か（抽出ルールの質は）． いても精度を優先して複雑なルール表現を許容すること どの様なルール形式が利用者にとって理解し易いのか． ルールを抽出する の構造は問題に最適化されて いるのか（一意性）． のように入力属性の線形結合を含む %&" 形式ルール が利用される．この場合には通常 中間層ユニット出 連続値入力・連続値出力を扱える方法であるのか． 様々な工学的問題を統一的に取り扱い，問題に応じ たルールを生成可能か（汎用性） 力値が 値化されており，超平面に基づく閾値処理とな る．したがって， 属性の閾値処理よりもパターン分離能 などである． 力が高い． 注意を要する点として，このような閾値処理を含むルー の規則形式であるが，抽出形式としては，%'&"' 形式と論理式およびファジィメンバーシップ関数な ル表現ではパターン識別を実現することは容易であるが， どの組み合わせ（命題的）ルールが多い．記号的ＡＩや 数学的表現を生成することは困難である．したがって，カ ファジィの分野でも %'&" 形式が多いが，利用者にとっ オスなどの同定は不可能である． にカオスデータを ては理解しやすい．木構造に表現した形式を利用する場 合もある．他の規則形式（例えば文献 ）もあるが，規 れるシグモイド関数型多層ネットであり，この 構造 則生成の手続きが複雑である．%'&" 形式の例としては からのルール抽出は重要であろう．実際，過去の研究の 多くはこの 構造からのルール抽出である． !"# ルール抽出法としては大雑把に以下のように分類され ， る方法が多い． + のような形式が多い． 体へとルールを統合 ． の凡化能力の維持であるが，規則に置き換えて認識 ) を学習させ， を満足する入力空間や決定木を 性能が低下したのでは話にならない．少なくとも性能は 試行的に選択 ． 維持されなければならない．また，初期知識を に組 に構造的な制約（局所性，数学的構造など）を持 込み，学習を通してルールを洗練する方法も提案されて いる を学習させ，各ユニットまたは中間表現から全 たせて学習後，ルール抽出 ． ． の抽出の容易さに関してであるが，過去の抽出法の の構造も学習させて規則を抽出しやすい構造に した後，ルール抽出 多くは，何らかのしきい値や範囲を定めるパラメータを , ． 汎用性のあるルール抽出 必要とし，パラメータの値が抽出される規則に影響する． また，(!!"#((( 的な方法で規則抽出を試みる場合 +"#( らは，文献 で異なった視点からルール抽 もある．この場合，入力属性の個数が多いと組合わせ爆 出法の分類を行っているが，紙数の都合ここでは触れない． 発が生じ困難となる．さらに，ルール抽出の過程が多段 通常の構造からルールを抽出する場合、各ユニット毎 に渡り，パラメータを人為的に定める必要がある場合も の入力結合重みの組合せをしきい値と比較することによ ある ． り中間表現を作成し、その後で統合していく方法（+ の の 構造の最適化の問題であるが，これは問題に 場合）が最も単純である．しかし、パラメータであるし 応じた の規模と結合重みの問題だけでなく，ユニット きい値の値により抽出される規則が影響され、規則の精 の入出力関数を含めた の数学的構造も含まれる．佐 度を左右する．) の方法では，ブラックボックス的な規 野はその著書 の中で，誤差逆伝播法（)* 法）の最大 則に近く，説明能力に問題があると考えられる． の場 の欠点がしきい値学習を導入したことによる説明不可能 合には，抽出法の移植 汎用 性に問題が生じやすい． 性にあることを痛切に批判している．そして， の説 の場合には， 構造をどのように学習させるかが問題 明のためには高次多項式の導入を提唱している．最初か であるが，文献 で，進化的アルゴリズムを用いて構 ら規則性の構造を多項式の形で に組み込んで学習し 造を最小化かつ中間ユニットの 値化を実現して簡単な ているのである．この数式表現はシグモイド型ニューラ ルール（中間ユニット出力値の組合わせ）を抽出する方 ルネットと同様に数学的万能性が保証されている．ただ 法も提案されている．, は，どのような問題に対しても し，入力属性の個数が多い場合には，必要な属性とその 適用可能な汎用性のある方法の開発を目指している．文 値を選択する，いわゆる特徴選択の問題が生じる．ディ 献 ではウィルス感染に基づくルール抽出が提案され ジタル画像を扱う際など，数百以上の入力信号も珍しく ている．文献 では様々な関数形式への対応方法の一 ない．入力属性（結合重み）の取捨選択をルール抽出に 例が提案されている． 含めて行うことは効率が悪い． 次節では， の研究の一端を紹介する． で，一般的な（実）問題では連続値入力を扱えるこ とが必要不可欠である．離散値入力に制約されるルール 抽出法は問題がある．また，出力値が時系列データであっ たり，株売買などの意志決定を行う場合などは今後行わ 進化手法による構造最適化に基づく ルール抽出 れるべき研究課題であろう． の汎用性であるが，どのような問題に対しても一意 本節では，進化手法として最も簡単なランダム探索法 な方法でルール抽出できることが望ましいが，現在のと を用いる．ランダム探索法を用いる場合，遺伝的アルゴ ころ汎用性のある方法は著者の知る限り無い． リズム -+ -". +/(&0 と比較して探索性能で劣 現在，最も広く利用されている は )* 法で学習さ る可能性がある．しかし，本方法では の構造学習に ＋ １ ＋１ ＋１ ー １ （ａ ） ー１ （ ｂ） ー１ （ｃ ） ! " 図 シグモイド関数のシグナム関数による置き換え． クラス問題 円と四角が中間ユニットの各クラス出力に 対応する (!"#0 102 図 決定論的変異 3 中間ユニットをシグナム型ユニットに置き換えると，関 を有するランダム探索法 数波形の違いから 6を維持できない場合が多い．この 様子が図 に示されている．図 で ! は 6の認識率 を達成可能であるが， 8 . の場合には困難である．こ 基づく決定論的変異を用いることにより探索性能の改善 の場合，通常認識誤りを生じ，ルール抽出の精度が低下 を図っている ． する．これを回避するため，中間層ユニットの重みに乱 数値を付加して（ランダムジャンプ）認識精度の再チェッ クを行う．6が達成されていなければ，この操作を最 進化手法 高 回まで行う．なお，問題によっては 6の認識精 図 に決定論的変異を有するランダム探索法の概念図 度を達成できない場合も存在するが，可能な限り 6の を示している．ランダム探索法は，-+ での個体数が 個 精度を達成することが本手法の目的である． でかつ交叉が無い場合に相当する． 図 のアルゴリズムでは，初期化されて 個の個体の 染色体 &(00 がすべて 45 の記号列にセットさ 決定論的変異 れる． の結合数だけの染色体長となり，結合と遺伝子 図 に決定論的変異 は 対 に対応する．そして，ランダム探索法の学習過 (0". 3!" の 概念を示す．図では の学習前には染色体（解の候補） 程を通して 45 と 45 の 値記号列で表現される解が獲 の 番目の値が であり，この場合 の 番目の結合が 得されていく．まず，)* 型構造学習アルゴリズムにより 3 存在していることを示している．構造学習により を学習し，6の認識精度を獲得した時点で， 番目 の結合が除去されたと仮定すると， 番目の結合が学習及 中間層のシグモイドユニットをシグナム 符号 型ニュー ロンユニットに置き換える操作を行う．ただし，この際に び識別に使用されないので，染色体 解候補 の 番目の は の構造が可能な限り最小化されていることがルー 値を 45 に変更することが可能である．この操作は認識 率 6の範囲内で行われる．この後で，確率的ジャンプ ル抽出を容易にする． が行われる．この操作を繰り返すが，構造学習で 6の ま た ，構 造 学 習 法 と し て 忘 却 付 き の 構 造 学 習 法 精度を達成できなかった場合には，最後の確率的ジャン )*7 )* & %(/"/ を利用している．この構造 プは受け入れらず，元の状態に戻される． 学習を用いることにより，不要な結合を除去することが可 能であり，この成果を決定論的変異としてランダム探索法 の解候補を直接変異させる (0". 3!"．こ の変異の後で，通常の確率的な突然変異 .&!. 3 !" を行う． )* 型構造学習で 6認識率を達成後，シグモイド型 ルール抽出 からのルール抽出では中間層の出力値が 値化さ れていれば比較的に容易である．本論文でのルール抽出 # トはその組み合わせを発見することが目的となり，中間 層ユニットで表現される論理関数的ルールを生成できる． さて，実際のルール抽出では，中間層ユニットの各カテゴ （・・０，１，０・・） & リ分類のための役割を調べることにより可能である．こ & れは中間層出力値をクラスタリング（教師あり分類）す ることにより行われる． 簡単な例として，中間層ユニットの 番目 ; だけ が出力層ユニットの 番目 < に結合されていたとす る．この時，< の出力を にするのが ; のどちらの出 $# 力 $ であるかを調べることによりルール化可能で ある．この操作は簡単であり，自動化可能である． （・・０，０，０・・） & & 計算機シミュレーション 図 にアヤメ問題に対するランダム探索の結果を示す． 図 決定論的変異 3 入力属性数は 個で，出力クラスは 個である． の この操作は構造学習 )*7 学習は 4(8"5 の方法で行っている．約 回 の結果に基づいて行われる の反復の結果得られた．確率的ジャンプの初期値は であり，時間とともに減衰する． 3 の効果で，かなり では を最小化し，かつ中間層ユニットを強制的に 少ない反復回数で優れた結果が得られている．最終的に 値化している．石川 らの方法のように余分な制約条件 残った結合重みの個数は 個であり，従来の報告 と を用いて構造学習を行う不便さはない． 比べとかなり少ない個数である．抽出されたルールを下 例えば表 に示されているアヤメのデータ分類では，一 記に示す． 部のデータが似通っているため 6の精度でルール抽出 = をすることは比較的に困難である．したがって，従来の ほとんどのルール抽出の方法では最初から 6の精度を > 意識せずにルール抽出を行っている．学術的な側面から = は，大した問題ではないが，産業的応用を意識している > > > 場合には 6の達成は重要である． ! ?(.( = の中間層が 値化されていれば，出力層のユニッ > > ?(/".! 例えば，中間層ユニット が を出力すれば，4!5 表 であり，$ は他のクラスである． は入力結合が存在 ( #!! せず，バイアスの役割しか持っていない．中間層ユニッ ( #!! !/(9 2! 2! 2! 2! "/& #& "/& #& ! ! :(.( :(.( :(/".! :(/".! トは下記の規則で$ または を出力する 発火条件． % $ &" $ % &" $ % &" $ は入力属性である． の発火条件を 考慮すると，下記の簡単なルールも生成できる． ここで， % ( , 2 5 ： $! / 3 4 3 . ( $$%56&%76 ) 8 3 )8 0 #3 % は正の重み，点線は負の重みを示している．線の幅が絶 ' - ：1 1 : ", ，， ， ;/ ! = = ，;2 ， 81 " " #， ，? 1> ， ! ! ! # ? 3 :! - ''6 5 1B - ) ! C 9 >&+ ：2 >1 ，， ， $ , " 7 ， ： ! " ，$$%& ''( # ， ''5 3 , " ， # )>A- 8 !! ! $ !# & ， ：: ， , ， ， ， , & ( 5 ， 福見稔，満倉靖恵：#ニューラルネットワークへの知識の埋 込とルール抽出#，高速信号処理応用技術学会論文誌（電 子技術），4 ，$$(&6（） 6 福見稔，満倉靖恵，赤松則男，ウィルス感染型遺伝的アル ゴリズムによるユニバーサル・ルール生成の一方法#，電 気学会論文誌，4 &23 . 3 $$&%（） ' 満倉靖恵，福見稔，山本透，ハイブリッド構造を有する 遺伝的アルゴリズムによるシステム同定の一手法#，第 回適応学習制御シンポジウム資料，$$6%&' メータに影響されるルールの信頼性の評価，高度の安全 + % 学習の途中での知識抽出と埋込みは可能か，ルールの埋 $$9%& $$(%&(6 ''( 入出力データに内在するルールを発見できるのか，抽出 $$(%&9 ''% & うな問題にも適用可能なのか，曖昧さうあノイズを含む ! ファジィとソフトコンピューティング：ハンドブック，日 本ファジィ学会編集，共立出版 ： ! A" 3 2> ''( 2DE 2 @3 .3 A 2; 参考文献 >< 7 性が要求されるような問題への適用可能性，などである． 9 ，， ， " ， 検出されたのか），連続値（時系列）出力を含めてどのよ め込みはどのような応用に適しているのか，人為的パラ ，， ， 福見稔，赤松則男：決定論的変異を含むランダム探索法 により構造化されたニューラルネットワークからのルール 抽出#，計測自動制御学会論文誌，，6，$$7&79 の規則性発見や他の構造への移植性，検出された規則の ルールの性能は元の の性能を越えられるか， の ： = > ( ら研究すべき事柄も多い．多層ネットワーク以外の 一意性の問題（背景となるパラメータ空間の構造が真に ''7 林勲，古橋武，編著：ファジィ・ニューラルネットワーク， 朝倉書店 ''7 ル（規則性）抽出の必要性，現状と課題等について述べ， （連続的フィードバック型 ，競合型ネットなど）から # 本解説では，ニューラルネットワーク からのルー 著者の研究を紹介した．ルール抽出研究は，まだこれか ， !- 76 ''6 まとめ $$5&5 ''5 )< 0 以上，著者の研究の一端を紹介した． 1 ! & (3 $$%&6(3 $$97&75 ''% 3 4 佐野千遥：知的人工生命の学習進化，森北出版 対値に近似的に比例している．結合重みの数は である． ， 7 6 ! !# ''7 上田博貴，石川真澄：ニューラルネットワークによる連 続値入力・離散値出力データからの規則の発見#，信学技 報， .2'7&，$$7(&% ''% 図 ランダム探索法により発見された の構造 実線 ! ，(，$$9'&9 6 % - #3 9 ) *+, -. &/00, 1
© Copyright 2024 Paperzz
