文献

J-GLOBAL ID：201802254921649702   整理番号：18A0564206

自然勾配法の近似手法における学習パラメータの調整

著者 (3件)： 桑村祐二 (東京工大) ,  大沢和樹 (東京工大) ,  横田理央 (東京工大)
資料名： 情報処理学会全国大会講演論文集
巻： 80th  号： 1  ページ： 1.41-1.42  発行年： 2018年03月13日 
JST資料番号： S0731A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 深層学習の最適化手法において確率的勾配降下法(Stochastic Gradient Descent,SGD)が頻繁に使われているが,反復回数が少ない自然勾配法(Natural Gradient Descent,NGD)が最近注目されている。しかし,自然勾配法は計算時間が多く実用的ではない。そのため,計算時間を短くさせた様々な近似手法が開発されている。その中でも画像認識において畳み込み層含め実装されたK-FACに着目した。K-FACは確率的勾配降下法と比べて十分な研究がされていない。特に学習パラメータに関しては,どのように数値を設定すれば実行時間が少なくかつ精度の高い学習ができるかというのは明確には示されていない。本実験では学習パラメータの数値の変更に伴う精度の推移を調査し,初期値と比べてより高い精度を出すことに成功した。(著者抄録)

シソーラス用語： 傾斜法 ,  *機械学習 ,  *最適化 ,  パラメータ
準シソーラス用語： *パラメータ最適化 ,  勾配法 ,  *深層学習

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (1件)：

• James Martens, Roger Grosse, Optimizing Neural Networks with Kronecker-factored Approximate Curvature, Proceedings of the 32nd International Conference on Machine Learning, Lille, France, 2015

タイトルに関連する用語 (3件)： 勾配法 ,  近似手法 ,  学習パラメータ