文献

J-GLOBAL ID：201702237450076850   整理番号：17A1619743

Nesterovの加速勾配を組み込んだ神経回路網トレーニングのための新しい擬似Newtonベースの最適化

A novel quasi-Newton-based optimization for neural network training incorporating Nesterov’s accelerated gradient

著者 (1件)： Ninomiya Hiroshi (Department of Information Science, Faculty of Engineering, Shonan Institute of Technology)
資料名： Nonlinear Theory and Its Applications, IEICE (Web)  (Nonlinear Theory and Its Applications, IEICE (Web))
巻： 8  号： 4  ページ： 289-301(J-STAGE)  発行年： 2017年 
JST資料番号： U0219A  ISSN： 2185-4106  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 本稿では,神経回路網トレーニング用の新しい擬似Newton(QN)ベースの加速技術を記述した。最近,Nesterovの加速勾配法が,勾配ベーストレーニングの加速用に使われている。本稿では,Nesterov手法として慣性項を組み込んだ誤差関数の二次近似によって,QNトレーニングアルゴリズムの加速を実現した。提案したアルゴリズムが,QN手法と同じ収束性能を有することを示した。提案したアルゴリズムを実証するために,関数近似とマイクロ波回路モデリング問題に関する神経回路網トレーニングを示した。ここで提案した手法は,既存のQNアルゴリズムの収束速度を顕著に改良した。(翻訳著者抄録)

シソーラス用語： 加速度 ,  *神経回路網 ,  *適応訓練 ,  擬似Newton法 ,  *最適化 ,  座標系 ,  誤差関数
準シソーラス用語： *Nesterov手法 ,  *トレーニング ,  慣性系 ,  性能最適化

著者キーワード (4件)： neural networks ,  training algorithm ,  Nesterov’s accelerated gradient ,  quasi-Newton method

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (20件)：

• [1] S. Haykin, “Neural networks and learning machines 3^rd,” Pearson, 2009.
• [2] Q.J. Zhang, K.C. Gupta, and V.K. Devabhaktuni, “Artificial neural networks for RF and microwave design-from theory to practice,” IEEE Trans. Microwave Theory and Tech., vol. 51, pp. 1339-1350, April 2003.
• [3] H. Ninomiya, S. Wan, H. Kabir, X. Zhang, and Q.J. Zhang, “Robust training of microwave neural network models using combined global/local optimization techniques,” IEEE MTT-S International Microwave Symposium (IMS) Digest, pp. 995-998, June 2008.
• [4] H. Kabir, L. Zhang, M. Yu, P.H. Aaen, J. Wood, and Q.J. Zhang, “Smart modeling of microwave devices,” IEEE Microwave Magazine, pp. 105-118, May 2010.
• [5] H. Ninomiya, “An improved online quasi-Newton method for robust training and its application to microwave neural network models,” Proc. IJCNN'10, pp. 792-799, July 2010.

タイトルに関連する用語 (6件)： 加速 ,  勾配 ,  神経回路網 ,  トレーニング ,  擬似 ,  最適化