分散深層ニューラルネットワーク訓練のための通信最適化戦略:調査【JST・京大機械翻訳】

Ouyang Shuo; Dong Dezun; Xu Yemao; Xiao Liquan

プレプリント

J-GLOBAL ID：202202219100496239 整理番号：21P0026063

分散深層ニューラルネットワーク訓練のための通信最適化戦略:調査【JST・京大機械翻訳】

Communication optimization strategies for distributed deep neural network training: A survey

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年03月05日プレプリントサーバーでの情報更新日： 2020年11月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

高性能コンピューティングと深層学習における最近の傾向は,大規模深層ニューラルネットワーク訓練に関する研究の増殖をもたらした。しかし,計算ノード間の頻繁な通信要求は,全体の訓練速度を劇的に遅くし,それは,分散訓練,特に限られたネットワーク帯域幅を有するクラスタにおいてボトルネックを引き起こす。分散通信の欠点を緩和するために,研究者は様々な最適化戦略を提案した。本論文では,アルゴリズム視点とコンピュータネットワーク展望の両方からの通信戦略の包括的な調査を提供した。アルゴリズム最適化は,分散訓練で使用される通信容量の低減に焦点を合わせ,一方,ネットワーク最適化は,分散デバイス間の通信を加速することに焦点を合わせる。アルゴリズムレベルで,著者らは,通信ラウンドの数およびラウンド当たりの伝送ビットを減らす方法を記述した。さらに,計算および通信をいかに重複するかを明らかにした。ネットワークレベルで,論理的通信方式とネットワークプロトコルを含むネットワークインフラストラクチャによって引き起こされる効果を論じた。最後に,分散深層ニューラルネットワーク訓練のための通信を加速するために,潜在的将来の課題と新しい研究方向を外挿した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能 , 無線通信一般

, , , ,

前のページに戻る