線形的に増加するミニバッチサイズを持つ分散型局所データ集合上のHogwild!【JST・京大機械翻訳】

van Dijk Marten; Nguyen Nhuong V.; Nguyen Toan N.; Nguyen Lam M.; Tran-Dinh Quoc; Nguyen Phuong Ha

プレプリント

J-GLOBAL ID：202202221222559562 整理番号：21P0057408

線形的に増加するミニバッチサイズを持つ分散型局所データ集合上のHogwild!【JST・京大機械翻訳】

Hogwild! over Distributed Local Data Sets with Linearly Increasing Mini-Batch Sizes

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2020年10月26日プレプリントサーバーでの情報更新日： 2021年02月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Hogwork Hubbardは,訓練データを含む共通リポジトリを並列アクセスする複数のスレッドが,共同学習(グローバル)モデルを表現するSGD反復と更新共有状態を実行する,非同期確率勾配降下(SGD)を実装する。訓練データが不均一方法で局所データセット間で分布する大きなデータ解析を考察し,局所データが存在する局所計算ノードにSGD計算を移動することを望んだ。これらの局所SGD計算の結果は,Hogの野生界を模倣する中心「凝集」によって集約される。局所計算ノードが,通信コスト(アグリゲータとのラウンドインタラクション)を低減するために,より大きなものへ増加する小さなミニバッチサイズをいかに選択できるかを示した。最新の文献を改善し,Kがすべての局所計算ノードにわたって勾配計算の全数である,強凸問題に対する不均一データに対するO(√K)通信ラウンドを示した。著者らの方式のために,著者らは,多くの既存の出版物で見られるように有界勾配仮定を使用しない{em不均一}データのための強凸問題のための,気密で新規な非自明な収束解析を証明した。堅さは収束速度の下限と上限に対する著者らの証明の結果であり,一定の因子差を示した。バイアス(すなわち,不均一)および不偏局所データセットに対する平面凸および非凸問題に対する実験結果を示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る