文献

J-GLOBAL ID：202102247663044301   整理番号：21A0536943

GPU-FPGA異種コンピューティングによる分散深層学習【JST・京大機械翻訳】

Distributed Deep Learning With GPU-FPGA Heterogeneous Computing

著者 (8件)： Tanaka Kenji (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan) ,  Arikawa Yuki (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan) ,  Ito Tsuyoshi (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan) ,  Morita Kazutaka (NTT Software Innovation Center, NTT Corporation, Tokyo, Japan) ,  Nemoto Naru (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan) ,  Terada Kazuhiko (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan) ,  Teramoto Junji (NTT Software Innovation Center, NTT Corporation, Tokyo, Japan) ,  Sakamoto Takeshi (NTT Device Technology Labs., NTT Corporation, Kanagawa, Japan)
資料名： IEEE Micro  (IEEE Micro)
巻： 41  号： 1  ページ： 15-22  発行年： 2021年 
JST資料番号： H0837A  ISSN： 0272-1732  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 分散深層学習(DL)では,グラフィカル処理ユニット(GPU)間の訓練結果を共有するために使用される,Allreduceのような集団通信アルゴリズムが不可避のボトルネックである。キャッシュアクセス待ち時間は,分散DLのための高帯域幅相互接続を有する現在の計算システムにおける重要なボトルネックであると仮定した。この待ち時間を低減するため,ネットワーク界面でのデータを集約することが重要である。フィールドプログラマブルゲートアレイ(FPGA)におけるデータ集約回路を実装する。このFPGAを用いて,著者らは,精度劣化なしで,新しいAlreductionアーキテクチャと訓練戦略を提案した。測定の結果は,1/4への遅延減少を示す。また,このシステムは通信オーバヘッドの約90%を隠し,スケーラビリティを20%改善する。ResNet-50とImageNetによる分散DLにおける訓練のために消費されるエンドツーエンド時間は,検証精度の劣化なしに87.3%に減少した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  界面 ,  計算機システム ,  ネットワーク ,  相互接続 ,  エンドツーエンド方式 ,  待ち時間 ,  処理装置 ,  計算機アーキテクチャ ,  *FPGA
準シソーラス用語： データ集約 ,  通信オーバーヘッド ,  *深層学習 ,  集団通信 , 【Automatic Indexing@JST】

分類 (1件)： ディジタル計算機ハードウェア一般  (JC04010C)

タイトルに関連する用語 (4件)： GPU ,  FPGA ,  コンピューティング ,  深層学習