確率勾配法のほぼ確かな収束速度について【JST・京大機械翻訳】

Liu Jun; Yuan Ye

プレプリント

J-GLOBAL ID：202202206157350112 整理番号：22P0286907

確率勾配法のほぼ確かな収束速度について【JST・京大機械翻訳】

On Almost Sure Convergence Rates of Stochastic Gradient Methods

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月09日プレプリントサーバーでの情報更新日： 2022年07月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

文献における確率的勾配法に対する収束速度解析の大多数は,期待における収束に焦点を絞ったが,一方,確率的アルゴリズムの任意のインスタンス化が確率1で収束するのを確実にするのに,軌道ごとのほぼ確実な収束は,明らかに重要である。ここでは,確率的勾配降下(SGD),確率的重球(SHB),および確率的Nesterov加速勾配(SNAG)法に対する統一されたほぼ確実な収束速度解析を提供した。強い凸関数上のこれらの確率的勾配法で得られたほぼ確実な収束速度が,それらの最適収束速度に任意に近いことを,初めて示した。非凸目的関数では,二乗勾配ノルムの加重平均がほぼ確実にゼロに収束するだけでなく,アルゴリズムの最後の反復も収束することを示した。さらに,弱凸平滑関数における確率的勾配法に対する最終速度近似の収束率解析を提供し,一方,その反復の加重平均に対する期待に収束を与えるのみの文献における既存の結果とは対照的に,これと対照的である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

システム最適化手法 , 人工知能 , 数値計算

前のページに戻る