通信効率的な非凸分散学習のためのBias分散低減局所摂動SGDによる鞍点の回避【JST・京大機械翻訳】

Murata Tomoya; Suzuki Taiji

プレプリント

J-GLOBAL ID：202202212877158014 整理番号：22P0288695

通信効率的な非凸分散学習のためのBias分散低減局所摂動SGDによる鞍点の回避【JST・京大機械翻訳】

Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月12日プレプリントサーバーでの情報更新日： 2022年10月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近の集中非凸分布学習と連合学習において,局所法は通信時間を低減する有望なアプローチの1つである。しかし,既存の研究は一次最適性保証の研究に主に焦点を合わせている。他方,二次最適性保証アルゴリズム,すなわち,鞍点を逃れるアルゴリズムを,非分散最適化文献において広範囲に研究した。本論文では,集中非凸分散最適化における二次最適点を見つけるため,既存のバイアス-分散低減勾配推定器とパラメータ摂動を組み合わせた,Bias-Variance低減局所摂動SGD(BVR-L-PSGD)と呼ぶ新しい局所アルゴリズムを研究した。BVR-L-PSGDは,一次最適性を見つけるために,BVR-L-SGDの最良の既知のものと同様に,ほぼ同一の通信複雑性を有する2次最適性を有した。特に,局所データセット不均一性が局所損失の平滑度より小さいとき,通信複雑性は,非局所的方法より良かった。極端な場合,局所データセットの不均一性がゼロになるとき,通信複雑性はΘ(1)に接近する。数値結果は,著者らの理論的発見を検証した。【JST・京大機械翻訳】

, , , , , ,
, , , , , , , , , 【Automatic Indexing@JST】

人工知能 , 数値計算 , 通信網

, , , , , ,

前のページに戻る