分散深層学習訓練プラットフォームにおける計算-通信重複の可能化【JST・京大機械翻訳】

Rashidi Saeed; Denton Matthew; Sridharan Srinivas; Srinivasan Sudarshan; Suresh Amoghavarsha; Ni Jade; Krishna Tushar

プレプリント

J-GLOBAL ID：202202220270290765 整理番号：22P0165805

分散深層学習訓練プラットフォームにおける計算-通信重複の可能化【JST・京大機械翻訳】

Enabling Compute-Communication Overlap in Distributed Deep Learning Training Platforms

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年06月30日プレプリントサーバーでの情報更新日： 2022年05月04日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

深い学習(DL)訓練プラットフォームを,帯域幅のギガバイト(GB)の100秒で高速,カスタマイズされた相互接続を介して,複数のDL加速器(例えばGPU/TPU)を相互接続することによって構築する。しかし,本研究で同定されたように,この帯域幅の駆動は非常に困難である。これは,DL計算と通信の両方に対して,加速器の計算とメモリの使用の間の永続なバランスがあるためである。本研究は2つの重要な貢献をする。最初に,実際のシステム測定と詳細なモデリングにより,DL計算およびコムに対する計算およびメモリ帯域幅要求の理解を提供した。第2に,加速器エンドポイントで計算およびネットワーク化エンジンと並んで座る加速器衝突エンジン(ACE)と呼ばれる新しいDL集団通信加速器を提案する。ACEは,DL計算のためのエンドポイントの計算と記憶資源を自由にし,次に,最先端の基準線と比較して,同じネットワークBWを駆動するために,平均で3.5Xで必要なメモリBWを縮小する。最新のDL作業負荷と異なるネットワークサイズに対して,ACEは平均で1.44X(2.67Xまで)の実効ネットワーク帯域幅利用を増加させ,最良ベースライン構成と比較して,ResNet-50,GNMTとDLRMの反復時間において,それぞれ1.41X(最大1.51X),1.12X(1.17Xまで),および1.13X(最大1.19Xまで)の高速化を結果としてもたらすことを示した。”結果]は,それぞれ,1.41X(最大1.51X),1.17X(1.17Xまで),および1.13X(最大1.19X)の高速化を,それぞれ,最良のベースライン構成と比較したとき,平均1.41X(最大1.51X),1.13X(1.17Xまで),および1.13X(最大1.19X)高速化をもたらした。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

専用演算制御装置 , 人工知能 , 図形・画像処理一般

, , ,

前のページに戻る