Herring:クラウドのためのスケールにおけるパラメータサーバの再考【JST・京大機械翻訳】

Thangakrishnan Indu; Cavdar Derya; Karakus Can; Ghai Piyush; Selivonchyk Yauheni; Pruce Cory

文献

J-GLOBAL ID：202102243614816706 整理番号：21A0894398

Herring:クラウドのためのスケールにおけるパラメータサーバの再考【JST・京大機械翻訳】

Herring: Rethinking the Parameter Server at Scale for the Cloud

出版者サイト複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=21A0894398&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=21A0894398&from=J-GLOBAL&jstjournalNo=W2441A") }}

著者 (6件)： , , , , ,
資料名：
巻： 2020 号： SC ページ： 1-13 発行年： 2020年
JST資料番号： W2441A 資料種別：会議録 (C)
記事区分：原著論文発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

大規模深層ニューラルネットワークの訓練は時間がかかり,日々または数週間を完了するかもしれない。パラメータサーバベースのアプローチが分散訓練において最初に普及しているが,スケーラビリティ問題は,フィールドが全リデュースベースアプローチに向けて移動することを導いた。しかし,クラウドネットワーキング技術における最近の発展は,弾性ファブリックアダプター(EFA)とスケーラブルな信頼できるデータグラム(SRD)のようなもので,その基本的な非効率性に取り組むためのパラメータサーバアプローチの再考を動機づけている。この目的のために,パラメータサーバベースの訓練における性能ボトルネックを軽減するように設計された新しい通信ライブラリ,Herringを導入した。Herringによる勾配低減は,全還元ベース法よりも2倍速いことを示した。さらに,Herringを用いたBERT_largeのような深層学習モデル訓練は,精度低下なしに2048NVIDIA V100GPUsまでの大規模クラスタ上で85%のスケーリング効率を達成する,全リデュースベースの訓練を凌駕することを実証した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

,
, , 【Automatic Indexing@JST】

図形・画像処理一般

, , ,

前のページに戻る