文献

J-GLOBAL ID：201902270445774860   整理番号：19A0418940

適応Thouless-Anderson-Palmer近似による勾配法を用いた制限ボルツマンマシンの学習

Learning restricted Boltzmann machine via the adaptive Thouless-Anderson-Palmer mean-field approximation

著者 (3件)： 高橋茶子 (東北大 大学院情報科学研究科) ,  安田宗樹 (山形大 大学院理工学研究科) ,  田中和之 (東北大 大学院情報科学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 118  号： 284(IBISML2018 44-104)(Web)  ページ： 105-110 (WEB ONLY)  発行年： 2018年10月29日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 制限ボルツマンマシンは,可視変数と隠れ変数からなる完全二部グラフ構造のボルツマンマシンであり,深層学習における基礎モデルの構成要素として知られている。制限ボルツマンマシンの学習において問題となるのは,パラメータ更新のための勾配計算に指数時間を要する項が含まれていることである。この計算に対し,制限ボルツマンマシンが持つ条件付き独立の性質を利用したマルコフ連鎖モンテカルロ法に基づくサンプリング法を用いた勾配の近似がしばしば用いられている。本研究では,従来のサンプリングベースの方法とは本質的に異なる近似法である平均場近似法を用いた学習アルゴリズムを提案する。平均場近似法の中でも優れた性能を持つ適応Thouless-Anderson-Palmer近似と呼ばれる近似法を用い,計算困難な項を近似する勾配法を定式化する。また,数値実験を通して,尤度最大化,勾配収束の観点などでの提案アルゴリズムの優位性を示す。(著者抄録)

シソーラス用語： *機械学習 ,  ニューラルネットワーク ,  *Boltzmannマシン ,  *近似法 ,  *学習アルゴリズム ,  傾斜法 ,  実験 ,  数値計算 ,  *深層学習 ,  数値実験
準シソーラス用語： 勾配法 ,  *制限ボルツマンマシン ,  適応Thouless-Anderson-Palmer近似 ,  *平均場近似法

分類 (2件)： 人工知能  (JE08000Z) ,  数値計算  (JE02000J)

引用文献 (10件)：

• G.E. Hinton and R. Salakhutdinov, “Reducing the dimensionality of data with neural networks,” Science, vol.313, no.5786, pp.504-507, 2006.
• G.E. Hinton, “A practical guide to training restricted boltzmann machines,” Neural networks: Tricks of the trade, pp.599-619, Springer, Berlin, Heidelberg, 2012.
• R. Salakhutdinov and G. Hinton, “Deep boltzmann machines,” Proceedings of the Twelth International Conference on Artificial Intelligence and Statistics, eds. by D. vanDyk and M. Welling, vol.5, pp.448-455, Proceedings of Machine Learning Research, PMLR, Hilton Clearwater Beach Resort, Clearwater Beach, Florida USA, 16-18 Apr 2009. http://proceedings.mlr.press/v5/salakhutdinov09a.html
• G.E. Hinton, “Training products of experts by minimizing contrastive divergence,” Neural Computation, vol.14, pp.1771-1800, 2002.
• M. Opper and O. Winther, “Adaptive and self-averaging thouless-anderson-palmer mean field theory for probabilistic modeling,” Physical Review E, vol.64, p.056131, 2001.

タイトルに関連する用語 (6件)： 適応 ,  近似 ,  勾配法 ,  制限 ,  ボルツマンマシン ,  学習