通信効率およびストラグレア耐性分散SGDのための適応型作業者グルーピング【JST・京大機械翻訳】

Zhu Feng; Zhang Jingjing; Simeone Osvaldo; Wang Xin

プレプリント

J-GLOBAL ID：202202214324757508 整理番号：22P0026538

通信効率およびストラグレア耐性分散SGDのための適応型作業者グルーピング【JST・京大機械翻訳】

Adaptive Worker Grouping For Communication-Efficient and Straggler-Tolerant Distributed SGD

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月12日プレプリントサーバーでの情報更新日： 2022年01月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

壁クロック収束時間と通信負荷は,パラメータサーバ設定における確率的勾配降下(SGD)の分散実装のための主要な性能計量である。通信適応分散Adam(CADA)は,労働者の適応選択により通信負荷を低減する方法として最近提案されている。CADAは,ストラグラーの存在下で壁-クロック収束時間に関して性能劣化を受ける。本論文では,通信負荷の低減におけるCADAの利点を保持するグループ化ベースCADA(G-CADA)という新しい方式を提案したが,一方で,作業者における追加ストレージのコストで,ストラグラーに対するロバスト性を増加させた。G-CADAは労働者を労働者のグループに分割し,同じデータハードを割り当てる。グループを各反復で適応的に予定し,サーバは各選択グループで最速ワーカーを待つだけであった。著者らは,他のベンチマーク方式に関するG-CADAの通信負荷と計算負荷と同様に,壁-クロック時間に関する重要な利得を詳述するために,解析と実験結果を提供した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , 【Automatic Indexing@JST】

パターン認識 , その他の無線通信 , 図形・画像処理一般 , 計算機網

, ,

前のページに戻る