文献

J-GLOBAL ID：202102270841654431   整理番号：21A2215512

GPUクラスタにおけるハイブリッド並列DNN学習のボトルネック分析と改良

著者 (3件)： 細木隆豊 (東京工大) ,  野村哲弘 (東京工大) ,  遠藤敏夫 (東京工大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2021  号： HPC-180  ページ： Vol.2021-HPC-180,No.9,1-8 (WEB ONLY)  発行年： 2021年07月13日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 深層学習は計算量やメモリ使用量の観点から複数のアクセラレータを用いた分散化が注目されており,近年ではデータ並列とモデル並列を組み合わせたハイブリッド並列の研究が多くなされている.本論文ではハイブリッド並列をより効率的に活用するために,学習のボトルネックについて分析を行った.それにより,通信のオーバーヘッドやロードバランスが学習時間に影響をもたらすことがわかった.通信のオーバーヘッドの影響を小さくするように,GPUにおける計算と通信の並列性を上げ,通信を行うスレッドをまとめる改良を行った.その結果,データ並列性の利用に不均等性がある場合に最大16%の学習時間の短縮が確認された.(著者抄録)

シソーラス用語： *マルチプロセッサシステム ,  *画像処理システム ,  障害 ,  並列アルゴリズム ,  *機械学習 ,  データ処理システム ,  計算量 ,  記憶装置 ,  アクセラレータ ,  *深層学習 ,  *GPUクラスタシステム
準シソーラス用語： *GPUクラスタ ,  ボトルネック ,  メモリ

分類 (1件)： ニューロコンピュータ  (JC06010Q)

引用文献 (10件)：

• Narayanan, D. et al.: PipeDream: generalized pipeline parallelism for DNN training, Proceedings of the 27th ACM Symposium on Operating Systems Principles, pp. 1-15 (2019).
• PyTorch: PyTorch, https://github.com/pytorch/pytorch.
• Facebook: Gloo, https://github.com/facebookincubator/gloo.
• NVIDIA: NCCL, https://github.com/NVIDIA/nccl.
• 松岡 聡ほか: HPCとビッグデータ・AIを融合するグリーン・クラウドスパコン TSUBAME3.0の概要,研究報告ハイパフォーマンスコンピューティング (HPC), Vol. 2017, No. 29, pp. 1-6 (2017).

タイトルに関連する用語 (4件)： GPUクラスタ ,  学習 ,  ボトルネック ,  分析