バッチサイズ適応によるRiemann非凸最適化のための分散低減【JST・京大機械翻訳】

Han Andi; Gao Junbin

プレプリント

J-GLOBAL ID：202202207101596174 整理番号：22P0166773

バッチサイズ適応によるRiemann非凸最適化のための分散低減【JST・京大機械翻訳】

Variance reduction for Riemannian non-convex optimization with batch size adaptation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年07月03日プレプリントサーバーでの情報更新日： 2020年07月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

分散低減技術は,ユークリッド空間とRiemann多様体の両方で定義される最適化問題の勾配降下と確率的勾配降下の加速において一般的である。本論文では,バッチサイズ適応を持つR-SVRGとR-SRG/R-SPIDERを含む非凸Riemann最適化のための既存の分散低減法をさらに改善した。この戦略は,有限和とオンライン設定の両方で,一般的非凸と勾配支配関数の両方を最適化するためのより低い全複雑性を達成できることを示した。その結果,R-SVRGに対する簡単な収束解析も提供し,有限和設定の下でのR-SRGに対する複雑性限界を改善した。特に,R-SRGは,小さなステップサイズを必要とせずに,R-SPIDERと同じ近最適複雑性を達成することを証明した。様々なタスクに関する経験的実験は,提案した適応バッチサイズスキームの有効性を実証した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

数値計算 , システム最適化手法

, , , ,

前のページに戻る