文献

J-GLOBAL ID：202002244503007443   整理番号：20A1124467

曲率情報による増分勾配最適化の加速【JST・京大機械翻訳】

Accelerating incremental gradient optimization with curvature information

著者 (5件)： Wai Hoi-To (Department of SEEM, Chinese University of Hong Kong, Sha Tin, Hong Kong) ,  Shi Wei (Department of EE, Princeton University, NJ, USA) ,  Uribe Cesar A. (LIDS, Massachusetts Institute of Technology, Cambridge, MA, USA) ,  Nedic Angelia (School of ECEE, Arizona State University, Tempe, AZ, USA) ,  Scaglione Anna (School of ECEE, Arizona State University, Tempe, AZ, USA)
資料名： Computational Optimization and Applications  (Computational Optimization and Applications)
巻： 76  号： 2  ページ： 347-380  発行年： 2020年 
JST資料番号： W0478A  ISSN： 0926-6003  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 本論文では,強凸有限和最適化問題を解くための曲率情報の利用を通して,増分集約勾配(IAG)法のための加速手法を研究した。これらの最適化問題は,大規模な学習応用において生じる。著者らの技術は,Hessian情報を用いて増分的に正確な勾配推定を生成するために曲率支援勾配追跡ステップを利用する。新しい技術,曲率支援IAG(CIAG)法および加速CIAG(A-CIAG)法を用いた二つの方法を提案し,解析した。これらはそれぞれ勾配法およびNesterovの加速勾配法に類似している。目的関数の条件数である[数式:原文を参照]を設定し,CIAG法に対する[数式:原文を参照]のR線形収束速度,および[数式:原文を参照]が初期点と最適解の間の距離に逆比例する定数であるA-CIAG法に対する[数式:原文を参照]を証明した。初期反復が最適解に近いとき,CIAGとA-CIAGが厳密に低い計算複雑さを伴う増分設定で動作するにもかかわらず,R線形収束速度は勾配と加速勾配法と一致する。数値実験により,この知見を確認した。本論文で使用したソースコードを見つけることができた。Copyright Springer Science+Business Media, LLC, part of Springer Nature 2020 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 凝集 ,  *最適化 ,  学習 ,  傾斜法 ,  最適化問題 ,  曲率 ,  計算量 ,  線形性 ,  目的関数 ,  凸形
準シソーラス用語： 最適解 ,  収束速度 ,  数値実験 ,  ソースコード , 【Automatic Indexing@JST】

著者キーワード (3件)： 増分凝集勾配法 ,  曲率情報 ,  Nesterov加速勾配法

分類 (2件)： 信号理論  (ND02020G) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 曲率 ,  増分 ,  勾配 ,  最適化 ,  加速