表題番号：1997A-326
日付：2002/02/25
研究課題情報の幾何構造を考慮した計算学習に関する研究
| 研究者所属（当時） | 資格 | 氏名 | |
|---|---|---|---|
| （代表者） | 理工学部 | 教授 | 松山 泰男 |
- 研究成果概要
- 期待値最大化アルゴリズム（EMアルゴリズム）を真部分集合として含むWEMアルゴリズム（Weighted EMアルゴリズム）を導出し、この一般化が単なる抽象的一般化ではなくて、実際に利点があることを示した。このWEMアルゴリズムに到達するまでの経緯とその特長は次の通りである。
【経緯】従来のEMアルゴリズムは確率の対数に基づく最尤法である。この研究においてはまず対数の一般化を行った。これは、一般化された情報量の核が、対数の一般形を与えることに基づいている。この一般化対数はαというパラメータにより特徴付けられ、αが-1に等しいときが従来の対数である。従って、α対数により条件付尤度比を計算し、これの期待値をとって最大化すれば、一般的なEMアルゴリズムが得られる。これがWEMアルゴリズムである。一般にEMアルゴリズムでは（従って、WEMアルゴリズムでも）、最大値そのものを一回の計算ではできない。そこで、さらに少しずつ値を増加させる方法を導出した（W-GEMアルゴリズム）。このとき大事なことは、WEMやW-GEMにおいても、EMに比べて推定限界が劣化しないかということである。このことについては、クラメール・ラオの限界がαに依存しないことを確かめた。
【特長】上記のように、W-GEMの推定精度は従来のEMと同じである。従って、その特長は推定の速さ（学習の速さ）になければならない。このことを混合エキスパート型の神経回路網で調べてみると、αが-1より大きいときに、EMの場合よりもはるかに高速な収束が得られた。これは、対数尤度で閉じていた従来手法を打ち破る初めての成果である。
以上のように、多くの新たな結果を得て、本研究は終了した。
研究成果：
1997. 6, Springer Verlag, Lecture Notes in Computer Science, No. 1240, Y. Matsuyama, The alpha-EM algorithm： A block connectable generalized learning tool for neural networks.
1997. 6, Proceedings of International Conference on Neural Networks, Y. Matsuyama, The weighted EM algorithm and block monitoring.
1997. 11, Proceedings of Stochastic System Symposium, Y. Matsuyama, WEM algorithms and probabilistic learning.
1997. 11, Proceedings of International Conference on Neural Information Processing, Y. Matsuyama et. al, Prior probability weights and neural network learning.
1998. 3, Y. Matsuyama and S. Furukawa, 情報処理学会全国大会講演論文集, Speedup of learning via weighted EM algorithm.