文献

J-GLOBAL ID：201802235284642455   整理番号：18A0844884

非減少有界誤差による勾配降下法の解析【JST・京大機械翻訳】

Analysis of Gradient Descent Methods With Nondiminishing Bounded Errors

著者 (2件)： Ramaswamy Arunselvan (Department of Computer Science and Automation, Indian Institute of Science, Bengaluru 560012, India) ,  Bhatnagar Shalabh (Department of Computer Science and Automation, Indian Institute of Science, Bengaluru 560012, India)
資料名： IEEE Transactions on Automatic Control  (IEEE Transactions on Automatic Control)
巻： 63  号： 5  ページ： 1465-1471  発行年： 2018年 
JST資料番号： C0223A  ISSN： 0018-9286  CODEN： IETAA9  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文の主目的は,必ずしも漸近的に消滅しない勾配誤差を持つ勾配降下(GD)アルゴリズムの解析を提供することである。特に,十分条件を,安定性(反復のほぼ確実な有界性)と有界(多分)非減少勾配誤差を伴うGDの収束の両方に対して提示した。安定性を保証することに加えて,そのようなアルゴリズムは,勾配誤差に依存する最小集合の小さな近傍に収束することを示した。本論文の主な結果が,漸近的に消失する誤差を有するGDが最小集合に実際に収束することを示すために用いることができることを示すことに価値があった。ここで示した結果は,以前の結果と比較してより一般的であるだけでなく,誤差によるGDの解析は,著者らの知る限り,文献に対して新しい。著者らの研究は,MangasarianおよびSolodov,BertsekasおよびTsitsikis,およびTadicおよびDoucetの寄与を拡張した。著者らのフレームワークを用いて,一定の感度パラメータをもつ同時摂動確率近似を用いたGDの簡単ではあるが効果的な実装を示した。多くの以前の結果に対するもう一つの重要な改善は,ステップサイズに課された「付加的な」制約がないことである。ステップサイズが学習速度に関連する機械学習応用において,著者らの仮定はこれらの学習速度に影響を及ぼさず,最後に実験結果を示し,理論を検証した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【JST・京大機械翻訳】

シソーラス用語： 確率近似 ,  機械学習 ,  *最急降下法 ,  十分条件 ,  摂動 ,  アルゴリズム
準シソーラス用語： 学習速度 ,  ステップサイズ ,  近傍 ,  アルゴリズム解析 ,  *有界 , 【Automatic Indexing@JST】

分類 (1件)： システム設計・解析  (IA02030D)

タイトルに関連する用語 (4件)： 有界 ,  誤差 ,  勾配降下法 ,  解析