文献

J-GLOBAL ID：202202295789293617   整理番号：22A1062473

大規模深層学習モデルのVarunaスケーラブル,低コストトレーニング【JST・京大機械翻訳】

Varuna scalable, low-cost training of massive deep learning models

著者 (5件)： Athlur Sanjith (Carnegie Mellon University) ,  Saran Nitika (Cornell University) ,  Sivathanu Muthian (Microsoft Research, Bangalore, India) ,  Ramjee Ramachandran (Microsoft Research, Bangalore, India) ,  Kwatra Nipun (Microsoft Research, Bangalore, India)
資料名： ACM Proceedings  (ACM Proceedings)
号： EuroSys ’22  ページ： 472-487  発行年： 2022年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 今日,大規模深層学習モデル(パラメータ)を訓練するためのシステムは,NV-LinkおよびInfinibandのような特殊化高帯域幅相互接続で有線化された数百または数千のGPUを,特殊化した「ハイパークラスタ」を想定し,要求する。高価なことに加えて,ハイパークラスタとカスタム高速インターコネクトへのそのような依存性は,そのようなクラスタのサイズを制限し,(a)ジョブ並列性に関するスケーラビリティ限界を創出する。(b)ハイパークラスタにわたる資源フラグメンテーション。本論文では,商品ネットワーキングに関する大規模深層学習モデル訓練を可能にする新しいシステムを提案した。Varunaは,ネットワーク化資源のリフティス利用をし,自動的にユーザの訓練ジョブを構成して,任意の与えられた資源セットを効率的に使用する。従って,Varunaは,専用GPUよりも約5x安いコストの「低優先度」VMを活用でき,従って,訓練大規模モデルのコストを大幅に削減できる。著者らは,高訓練スループットを維持しながら,5xの安い”スポットVM”に関して,200億のパラメータモデルを含む大規模モデルの訓練によるVarunaの有効性を実証した。Varunaは,他のモデル並列手法と比較して18xまでBERTとGPT-2のような言語モデルに対するエンドツーエンド訓練時間を改善し,商品VMsに関する他のパイプライン並列アプローチと比較して26%まで上昇した。Varunaのコードはhttps://github.com/microsoft/varunaで利用可能である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 相互接続 ,  クラスタ ,  フラグメンテーション ,  エンドツーエンド方式 ,  *モデル ,  スループット ,  パラメータ ,  機械学習 ,  優先度 ,  言語モデル
準シソーラス用語： *Varuna ,  ネットワーキング ,  パラメトリックモデル ,  ネットワーク化 ,  *深層学習 , 【Automatic Indexing@JST】

著者キーワード (3件)： 分散システム ,  大規模DNNトレーニング ,  機械学習のためのシステム

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： 大規模 ,  深層学習 ,  モデル ,  トレーニング