文献

J-GLOBAL ID：202002256357419184   整理番号：20A2551672

DiffGrad:畳込みニューラルネットワークのための最適化手法【JST・京大機械翻訳】

diffGrad: An Optimization Method for Convolutional Neural Networks

著者 (6件)： Dubey Shiv Ram (Computer Vision Group, Indian Institute of Information Technology at Sri City, Chittoor, India) ,  Chakraborty Soumendu (Indian Institute of Information Technology at Lucknow, Lucknow, India) ,  Roy Swalpa Kumar (Computer Vision and Pattern Recognition Unit, Indian Statistical Institute, Kolkata, India) ,  Mukherjee Snehasis (Computer Vision Group, Indian Institute of Information Technology at Sri City, Chittoor, India) ,  Singh Satish Kumar (Computer Vision and Biometrics Laboratory, Indian Institute of Information Technology at Allahabad, Allahabad, India) ,  Chaudhuri Bidyut Baran (Computer Vision and Pattern Recognition Unit, Indian Statistical Institute, Kolkata, India)
資料名： IEEE Transactions on Neural Networks and Learning Systems  (IEEE Transactions on Neural Networks and Learning Systems)
巻： 31  号： 11  ページ： 4500-4511  発行年： 2020年 
JST資料番号： T0881A  ISSN： 2162-237X  CODEN： ITNNEP  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 確率的勾配降下(SGD)は,深層ニューラルネットワークの成功の背後にあるコア技術の1つである。勾配は,関数が最急な変化率を持つ方向に関する情報を提供する。基本的なSGDによる主な問題は,勾配挙動に関係なく,すべてのパラメータに対して等しいサイズのステップによって変化することである。したがって,深いネットワーク最適化の効率的方法は,各パラメータに対して適応ステップサイズを持つことである。最近,AdaGrad,AdaDelta,RMSProp,および適応モーメント推定(Adam)のような勾配降下法を改善するために,いくつかの試みがなされてきた。これらの方法は,二乗過去の勾配の指数関数的移動平均の平方根に依存する。このように,これらの方法は,勾配の局所変化を利用しなかった。本論文では,現在と即時の過去の勾配(すなわち,DiffGrad)の違いに基づいて,新しい最適化器を提案した。提案したDiffGrad最適化技法では,ステップサイズは,より早い勾配変化パラメータに対してより大きなステップサイズを持ち,より低い勾配変化パラメータに対してより低いステップサイズを持つような方法で,各パラメータに対して調整される。オンライン学習フレームワークのレグレット結合手法を用いて収束解析を行った。本論文では,3つの合成複合非凸関数について徹底的な解析を行った。画像分類実験もCIFAR10およびCIFAR100データセット上で行い,SGDM,AdaGrad,AdaDelta,RMSProp,AMSGrad,およびAdamのような最先端の最適化器に関してDiffGradの性能を観察した。残留ユニット(ResNet)ベースの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験に用いた。実験は,DiffGradが他の最適化者より優れていることを示した。また,異なる活性化関数を用いてCNNを訓練するために,DiffGradが一様に良好に機能することを示した。ソースコードはhttps://github.com/shivram1987/diffGradで公的に利用できる。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *最適化 ,  最適化手法 ,  指数関数 ,  凸関数 ,  モーメント ,  計算機アーキテクチャ ,  最急降下法
準シソーラス用語： オンライン学習 ,  ステップサイズ ,  画像分類 ,  活性化関数 ,  ソースコード ,  ネットワーク最適化 ,  ディープニューラルネットワーク ,  *畳込みニューラルネットワーク , 【Automatic Indexing@JST】

分類 (3件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z) ,  信号理論  (ND02020G)

タイトルに関連する用語 (2件)： 畳込みニューラルネットワーク ,  最適化手法