非線形勾配マッピングと確率的最適化:一般フレームワークとヘビーテール雑音への応用【JST・京大機械翻訳】

Jakovetic Dusan; Bajovic Dragana; Sahu Anit Kumar; Kar Soummya; Milosevic Nemanja; Stamenkovic Dusan

プレプリント

J-GLOBAL ID：202202208762725759 整理番号：22P0327015

非線形勾配マッピングと確率的最適化:一般フレームワークとヘビーテール雑音への応用【JST・京大機械翻訳】

Nonlinear gradient mappings and stochastic optimization: A general framework with applications to heavy-tail noise

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年04月06日プレプリントサーバーでの情報更新日： 2022年04月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

勾配雑音が重いテールを示す場合,シナリオに対する非線形確率勾配降下(SGD)に対する一般的フレームワークを導入した。提案フレームワークは,クリップ,正規化,署名または量子化勾配のようないくつかの一般的な非線形性選択を和らげるが,新しい非線形性選択も考慮する。勾配雑音に関する非常に一般的な仮定の下で,Lipschitz連続勾配を有する強い凸型コスト関数を仮定して,考察したクラスの方法に強い収束保証を確立した。最も注目すべきことに,著者らは,有界出力を有する非線形性と,1より大きい次数の有限モーメントを持たない勾配雑音に対して,非線形SGD平均二乗誤差(MSE),または等価的に,期待コスト関数の最適ギャップは,レート ̄O(1/t ̄ζ),ζ∈(0,1)でゼロに収束することを示した。対照的に,同じ雑音設定では,線形SGDは,非有界分散を持つシーケンスを生成する。さらに,例えば,符号勾配またはコンポーネントワイズクリッピングのような,分離コンポーネントを分離できる非線形性に対して,非線形SGD漸近的(局所)は,弱い収束センスにおいてO(1/t)速度を達成し,対応する漸近分散を明示的に定量化することを示した。実験は,著者らのフレームワークが,重いテールノイズの下でSGDの既存の研究より一般的であるが,著者らのフレームワークからのいくつかの容易に実装された非線形性は,重いテールノイズを有する実際のデータセットに関する最新の代替案の状態と競合することを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

システム同定 , パターン認識

, , , , , , ,

前のページに戻る