分散SLIDE:モデル並列性とスパース性による低帯域幅と簡単なCPUクラスタ上の学習大規模ニューラルネットワークの実現【JST・京大機械翻訳】

Yan Minghao; Meisburger Nicholas; Medini Tharun; Shrivastava Anshumali

プレプリント

J-GLOBAL ID：202202221009357280 整理番号：22P0281827

分散SLIDE:モデル並列性とスパース性による低帯域幅と簡単なCPUクラスタ上の学習大規模ニューラルネットワークの実現【JST・京大機械翻訳】

Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月29日プレプリントサーバーでの情報更新日： 2022年01月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

クラウドコンピューティングの70%以上が,アイドリングのために払われた。これらのアイドル計算の大きな部分は,より少ないバス時間の間に利用されない少数のコアを有する安価なCPUである。本論文は,これらのCPUサイクルを,重重量AIモデルを訓練することを可能にする。著者らの目標は,分散ニューラルネットワーク訓練における通信ボトルネックに対処するために,高価な特殊化した超広帯域相互接続をレバレッジすることに焦点を合わせる主流フレームワークに対するものである。本論文では,低インターネット帯域幅を持つ小型CPUクラスタ上で大規模ニューラルネットワークを訓練できる分散モデル並列訓練フレームワークを提案した。SLIDEアルゴリズムにより導入された適応スパース訓練フレームワークを構築した。分散ノード上のスパース性を注意深く展開することにより,ほとんどの市販ソフトウェアの背後にある主要エンジンであるHorovodよりも数桁速いモデル並列訓練を示した。スパース性のため,通信低減により,基本低帯域幅相互接続により接続された簡単な4~16コアCPUノード上で,約10億のパラメータモデルに近いことを示した。さらに,訓練時間は,いくつかの最良のハードウェアアクセラレータと同程度である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

ディジタル計算機方式一般 , 計算機網

, , , , , , ,

前のページに戻る