構造化非凸関数のためのSGD:学習速度,ミニバッチおよび内挿【JST・京大機械翻訳】

Gower Robert M.; Sebbouh Othmane; Loizou Nicolas

プレプリント

J-GLOBAL ID：202202207315582456 整理番号：21P0036127

構造化非凸関数のためのSGD:学習速度,ミニバッチおよび内挿【JST・京大機械翻訳】

SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年06月18日プレプリントサーバーでの情報更新日： 2021年03月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

非凸関数を最適化するために,確率的勾配降下(SGD)は日常的に使用されている。しかし,滑らかな非凸設定におけるSGDに対する標準収束理論は,定常点に対して遅い線形収束を与える。本研究では,いくつかの余分な構造仮定を満たす非凸問題に対する大域的最小への収束を示すSGDに対するいくつかの収束定理を提供した。特に,2つの大きなクラスの構造化非凸関数に焦点を当てた。(i)Quasar(Strongly)Convex関数(凸関数の一般化)と(ii)Polyak-Lojasiwicz条件(強凸関数の一般化)を満たす関数。本解析は,以前に使用された成長条件,期待される平滑度または有界分散仮定よりも厳密に弱い仮定である,期待した残差条件に依存する。定数,減少および最近提案された確率的Polyakステップサイズを含む異なるステップサイズ選択のためのSGDの収束に対する理論的保証を提供した。さらに,著者らの分析のすべては,任意のサンプリングパラダイムに対して保持され,そのようなように,ミニバッチ化の複雑性に洞察を与え,最適ミニバッチサイズを決定する。最後に,訓練データを補間するモデルに対して,著者らは,著者らの期待した残差条件を分離して,この設定において最先端の結果を与えることができることを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , 信号理論 , 数理計画法

, , , ,

前のページに戻る