表題番号：2007B-283 日付：2010/11/14
研究課題相互結合型ニューラルネットワークの構造化学習の研究
研究者所属（当時） 資格 氏名
（代表者） 大学院情報生産システム研究科 教授 和多田　淳三
研究成果概要
従来、1980年代から特に1990年代には階層構造型ニューラルネットワークの最適構造を発見したり、あるいは従来困難であるとされた階層構造型ニューラルネットワークの説明機能を付与するための方法として構造化学習が研究されてきた.階層構造型ニューラルネットワークについては、これらの最適な構造を発見する方法が種々提案されてきた。しかしながら、相互結合型ニューラルネットワークについては、必ずしも構造化学習に関する研究は、広く行われているとはいえない。 相互結合型ニューラルネットワークにおいても連想や記憶あるいはボルツマンマシーンなどのネットワークについても問題に適した構造を学習することが求められている.

研究期間での達成目標 われわれは、二次評価関数の整数計画問題を解くためのボルツマンマシーンの学習において、大規模問題の解法において予め決められた対象数を選択するために、ホップフィールド型ニューラルネットワークをメタ制御装置としてボルツマンマシーンを制御する方法を提案してきた。これは、大規模問題では学習時間の負荷が非常に大きいボルツマンマシーンの効率的な収束をメタ制御装置が可能にすることを示した。



これらの研究の中で、我々はこのホップフィールド型ニューラルネットワークによるメタ制御装置は構造化学習を制御するために用いることが可能であることを発想した。このため、われわれは次の目標を実現することを提案している。
（１） ホップフィールド型ニューラルネットワークを用いることでボルツマン型ニューラルネットワークによる構造化学習を実現した。
（２） さらに、記憶や連想装置としての相互結合型ニューラルネットワークに対してホップフィールド型ニューラルネットワークを階層構造に構成することで、最適構造を実現した。
（３） 以上の構造を用い有効な相互結合型ニューラルネットワークの選別と構造化を実現し、その検証を行い、その有効性を示した。
③本研究の学術的な特色・独創的な点及び結果と意義
階層構造型ニューラルネットワークにおいて構造化学習することで最適構造を発見し、説明機能を実現する研究がここ15年ほど活発に行われてきた。しかしながら、相互結合型ニューラルネットワークについてはその構造が既に決定されていることが多いため、ほとんど研究されてこなかった。 本研究では、そのような相互結合型ニューラルネットワークにおいても工夫することで、構造化学習を実現できることが判明した、われわれはホップフィールド型ニューラルネットワークをメタ制御装置として用いることで、無駄な計算時間を短縮する方法を実現した。これを更に拡張することで、種々の二次関数型のエネルギー関数を用いる相互結合型ニューラルネットワークの構造化学習を可能にした。 ここに相互結合型ニューラルネットワークの構造化学習の研究を行った。

以上で述べたように、本申請研究は既に達成された。すなわち、相互結合型ニューラルネットワークの構造化学習方法を確立する方針である。 １） メタ制御装置によるボルツマン型ニューラルネットワークの構造化について研究した。すなわち、構造化の最適性、収束時間、等を計測し、構造化学習について構造を明らかにした。 ２） 構造化学習を行うことでボルツマン型ニューラル