文献

J-GLOBAL ID：202002235199689821   整理番号：20A2738885

aSNAQ:RNNを訓練するための適応型確率的Nesterovの加速準Newton法

aSNAQ: An adaptive stochastic Nesterov’s accelerated quasi-Newton method for training RNNs

著者 (4件)： Sendilkkumaar Indrapriyadarsini (Graduate School of Science and Technology, Shizuoka University) ,  Mahboubi Shahrzad (Graduate School of Electrical and Information Engineering, Shonan Institute of Technology) ,  Ninomiya Hiroshi (Graduate School of Electrical and Information Engineering, Shonan Institute of Technology) ,  Asai Hideki (Research Institute of Electronics, Shizuoka University)
資料名： Nonlinear Theory and Its Applications, IEICE (Web)  (Nonlinear Theory and Its Applications, IEICE (Web))
巻： 11  号： 4  ページ： 409-421(J-STAGE)  発行年： 2020年 
JST資料番号： U0219A  ISSN： 2185-4106  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： リカレントニューラルネットワーク(RNN)は,非常に訓練が困難である強力なシーケンスモデルである。本論文では,RNNを訓練するための適応型確率的Nesterovの加速準Newton(aSNAQ)法を提案した。RNNを訓練するためのいくつかのアルゴリズムがこれまでに提案されている。しかし,高い計算複雑性のため,収束性を向上するその能力にもかかわらず,2次曲率情報を用いる方法は非常に少ない。提案した方法は,反復あたりのコストを低く維持しながら曲率情報の組み込みを試みる加速二次法である。さらに,RNNの訓練において有名な消失および/または爆発勾配問題を解くため方向正規化を導入した。提案した方法の性能をベンチマークシーケンスモデリング問題に関しTensorflowで評価した。その結果,提案したaSNAQ法は,二次adaQNおよび一次AdagradおよびAdam法と比較して,反復あたりのコストが低く改善された性能を持ち,RNNを訓練するのに有効であることがわかった。(翻訳著者抄録)

シソーラス用語： *ニューラルネットワーク ,  回帰モデル ,  擬似Newton法 ,  *機械学習 ,  学習アルゴリズム ,  計算量 ,  勾配 ,  曲率 ,  計算機プログラミング ,  性能評価 ,  *リカレントニューラルネットワーク ,  学習性能 ,  深層学習

著者キーワード (5件)： リカレントニューラルネットワーク ,  トレーニングアルゴリズム ,  Nesterovの加速準Newton ,  確率的方法 ,  テンソルフロー

分類 (2件)： 人工知能  (JE08000Z) ,  ニューロコンピュータ  (JC06010Q)

引用文献 (30件)：

• [1] I. Sutskever, J. Martens, and G.E. Hinton, “Generating text with recurrent neural networks,” Proc. 28th ICML'11, pp. 1017-1024, June 2011.
• [2] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan, “Show and tell: A neural image caption generator,” Proc. IEEE Conf. CVPR'15, pp. 3156-3164, 2015.
• [3] A. Karpathy and L. Fei-Fei, “Deep visual-semantic alignments for generating image descriptions,” Proc. IEEE Conf. CVPR'15, pp. 3128-3137, 2015.
• [4] D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, September 2014
• [5] I. Sutskever, O. Vinyals, and Q.V. Le, “Sequence to sequence learning with neural networks,” Advances in Neural Information Processing Systems, pp. 3104-3112, 2014.

タイトルに関連する用語 (5件)： RNN ,  訓練 ,  確率 ,  加速 ,  準Newton法