文献

J-GLOBAL ID：202002270929190027   整理番号：20A2218782

不均一マルチGPUクラスタのための最適化分散深層学習フレームワークに向けて【JST・京大機械翻訳】

Towards an optimized distributed deep learning framework for a heterogeneous multi-GPU cluster

著者 (6件)： Kim Youngrang (Korea Aerospace University, Goyang-si, Republic of Korea) ,  Choi Hyeonseong (Korea Aerospace University, Goyang-si, Republic of Korea) ,  Lee Jaehwan (Korea Aerospace University, Goyang-si, Republic of Korea) ,  Kim Jik-Soo (Myongji University, Yongin-si, Republic of Korea) ,  Jei Hyunseung (SK Telecom ML Infra Lab., Seongnam-si, Republic of Korea) ,  Roh Hongchan (SK Telecom ML Infra Lab., Seongnam-si, Republic of Korea)
資料名： Cluster Computing  (Cluster Computing)
巻： 23  号： 3  ページ： 2287-2300  発行年： 2020年 
JST資料番号： W4172A  ISSN： 1386-7857  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 本論文では,訓練精度を犠牲にすることなく,全体資源利用を効果的に改善できる,異種マルチGPUクラスタのための新しい「分散深層学習フレームワーク」を提案した。特に,パラメータサーバと全縮小方式を用いたハイブリッド集約手法を採用して,異種計算システム上の深層学習アプリケーションの実行における潜在的性能劣化問題に取り組んだ。さらに,MPIに基づく強化集団通信能力による非同期データ並列深層学習処理のための訓練精度を維持するための非同期大規模ミニバッチ訓練機構を設計し実装する。提案フレームワークをTensorFlowに実装し,均一および不均一計算システムの両者で広範な実験を行った。評価結果は,提案フレームワークがI/Oボトルネックを減少することによって計算性能を改善し,不均一マルチGPUクラスタにおける資源利用を効果的に増加させることを示した。Copyright Springer Science+Business Media, LLC, part of Springer Nature 2020 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *最適化 ,  計算機システム ,  *クラスタ ,  応用プログラム
準シソーラス用語： 性能劣化 ,  データ並列 ,  資源利用 ,  *GPUクラスタ ,  *深層学習 ,  集団通信 , 【Automatic Indexing@JST】

著者キーワード (4件)： データ並列 ,  分散深層学習 ,  不均一クラスタ ,  大規模深層学習

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： 不均一 ,  マルチ ,  GPUクラスタ ,  最適化 ,  深層学習 ,  フレームワーク