文献

J-GLOBAL ID：201802227882435065   整理番号：18A2013998

矛盾のない確率的勾配降下によるディープニューラルネットワーク訓練の加速

Accelerating deep neural network training with inconsistent stochastic gradient descent

著者 (4件)： Wang Linnan (Brown University, United States) ,  Yang Yi (NEC Laboratories, United States) ,  Min Renqiang (NEC Laboratories, United States) ,  Chakradhar Srimat (NEC Laboratories, United States)
資料名： Neural Networks  (Neural Networks)
巻： 93  ページ： 219-229  発行年： 2017年09月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 確率的勾配(SGD)更新(SGD)は,ランダムバッチから計算された雑音勾配を持つ畳込みニューラルネットワーク(CNN)を更新し,各バッチは,エポックにおいて一度ネットワークを均等に更新する。このモデルは各バッチに対して同じ訓練努力を適用するが,サンプリングバイアスと固有画像差分により誘導される勾配分散がバッチ上で異なる訓練動力学を与えるという事実を概観する。本論文では,この問題に対処するために,不整合確率勾配(ISGD)と呼ばれるSGDのための新しい訓練戦略を開発した。ISGDのコア概念は,不整合な訓練であり,それは,訓練努力を動的に調整する。ISGDは,バッチの損失の平均値を徐々に低下させる確率過程としての訓練をモデル化し,動的上限を利用して,フライ上の大きな損失バッチを同定する。ISGDは,付加的な勾配更新による訓練を加速するために同定されたバッチ上に留まり,また,それは劇的なパラメータ変化をペナルティ化するための制約を持っている。ISGDは,補助メモリを必要とせずに,直接的で,計算的に効率的であり,そして,必要とし実世界データセットとネットワークに関する一連の経験的評価は,矛盾する訓練の有望な性能を実証した。Copyright 2018 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *ニューラルネットワーク ,  *最急降下法 ,  *確率モデル ,  動特性 ,  システム同定 ,  パラメタリゼーション ,  ペナルティ関数 ,  評価試験 ,  効率化 ,  性能分析
準シソーラス用語： *勾配降下法

著者キーワード (3件)： ニューラルネットワーク ,  確率的勾配降下 ,  統計的プロセス制御

分類 (3件)： ニューロコンピュータ  (JC06010Q) ,  その他のオペレーションズリサーチの手法  (KA03070E) ,  システム・制御理論一般  (IA02010H)

タイトルに関連する用語 (7件)： 矛盾 ,  確率 ,  勾配 ,  降下 ,  ディープニューラルネットワーク ,  訓練 ,  加速