文献

J-GLOBAL ID：201802275132827339   整理番号：18A0443456

計算と通信のオーバーラップを利用した並列深層畳込みニューラルネットワーク訓練【Powered by NICT】

Parallel Deep Convolutional Neural Network Training by Exploiting the Overlapping of Computation and Communication

著者 (5件)： Lee Sunwoo ,  Jha Dipendra ,  Agrawal Ankit ,  Choudhary Alok ,  Liao Wei-keng
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： HiPC  ページ： 183-192  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 訓練畳込みニューラルネットワーク(CNN)が許容時間内に訓練を完成するために,並列化は重要になってきている計算集約的な仕事である。しかし,分散メモリ計算環境におけるスケーラブルな並列CNNを開発するための二障害である。一つは二隣接minibatchesモデルパラメータの示したデータ依存性の高度であり,もう一つは通信チャネルを横切って移動する大量のデータである。本論文では,計算によるプロセス間通信のオーバーラップを最大化する並列化戦略を提示した。勾配が利用可能な後の重複は,通信を開始する計算ノード当り糸を用いて達成した。逆伝搬段階の出力データを各モデル層で発生し,データの通信を他の層の計算を同時に実行できる。重複の有効性とスケーラビリティへの影響を研究するために,種々のモデルアーキテクチャとハイパーパラメータ設定を評価した。ImageNetデータを用いた訓練VGGモデルセットと,256と512のミニバッチサイズを用いた128計算ノードに62.97×と77.97×のスピードアップを達成した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 集中化 ,  *プロセス間交信 ,  通信チャネル ,  分散メモリ
準シソーラス用語： データ依存性 ,  モデルパラメータ , 【Automatic Indexing@JST】

分類 (2件)： ディジタル計算機方式一般  (JC02010O) ,  制御方式  (JC02030K)

タイトルに関連する用語 (4件)： 計算 ,  オーバーラップ ,  深層畳込みニューラルネットワーク ,  訓練