文献

J-GLOBAL ID：201702268234056702   整理番号：17A0553454

単一層パーセプトロンにおける加重正規化によるオンライン学習の統計力学解析

Statistical Mechanical Analysis of Online Learning with Weight Normalization in Single Layer Perceptron

著者 (6件)： YOSHIDA Yuki (Univ. Tokyo, Chiba, JPN) ,  KARAKIDA Ryo (Univ. Tokyo, Chiba, JPN) ,  OKADA Masato (Univ. Tokyo, Chiba, JPN) ,  OKADA Masato (RIKEN Brain Sci. Inst., Saitama, JPN) ,  OKADA Masato (AIST, Tokyo, JPN) ,  AMARI Shun-ichi (RIKEN Brain Sci. Inst., Saitama, JPN)
資料名： Journal of the Physical Society of Japan  (Journal of the Physical Society of Japan)
巻： 86  号： 4  ページ： 044002.1-044002.7  発行年： 2017年04月15日 
JST資料番号： G0509A  ISSN： 0031-9015  CODEN： JUPSA  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： SalimansとKingma (2016)が,ニューラル・ネットワークのために新しく提案した最適化法,加重正規化はニューラル・ネットワークの加重ベクトルを動径長と方向ベクトルに分解し,そして,分解パラメータは,彼らの最急降下法更新を追跡する。彼らは,加重正規化による学習が従来のパラメーター化による学習より画像認識と強化学習を含むいくつかの仕事において従来のパラメーター化による学習より良い収束を成し遂げると報告した。しかし,加重正規化がどのように収束速度を改善するかは,理論的に分らないないままである。この研究において,加重正規化による線形単一層と非線形パーセプトロンのオンライン学習の分析に統計力学の方法を適用した。学習動力学の秩序パラメータを導出することによって,加重正規化は,ニューラル・ネットワークの非線形性に関係なく自動的に実効学習速度を調整ることによって,速い収束速度を実現させることを,定量的に確認した。動径長の初期値が包括的最低値に近いとき,この特性は実現する;したがって,この理論は,加重正規化を使うとき,適切に動径長の初期値を選ぶことが重要なことを示唆する。(翻訳著者抄録)

シソーラス用語： *パーセプトロン ,  正規化 ,  *オンラインシステム ,  *学習 ,  統計力学 ,  ニューラルネットワーク ,  最適化手法 ,  ベクトル ,  パラメータ

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (15件)：

• Y. LeCun, Y. Bengio, and G. Hinton, Nature 521, 436 (2015).
• J. Duchi, E. Hazan, and Y. Singer, J. Mach. Learn. Res. 12, 2121 (2011).
• M. D. Zeiler, arXiv:1212.5701.
• D. Kingma and J. Ba, arXiv:1412.6980.
• T. Tieleman and G. Hinton, COURSERA: Neural Networks Mach. Learn. 4 (2012).

タイトルに関連する用語 (7件)： 単一層 ,  パーセプトロン ,  加重 ,  正規化 ,  オンライン学習 ,  統計 ,  力学解析