文献

J-GLOBAL ID：201902271562463858   整理番号：19A1664986

ニューラル機械翻訳モデルの並列化訓練のためのテンソル蓄積中の記憶効率とMPI集団性能を改善する仮想スパーステンソルの高密度化【JST・京大機械翻訳】

Densifying Assumed-Sparse Tensors Improving Memory Efficiency and MPI Collective Performance During Tensor Accumulation for Parallelized Training of Neural Machine Translation Models

著者 (14件)： Cavdar Derya (Amazon, Seattle, WA, USA) ,  Codreanu Valeriu (SURFSara, Utrecht, The Netherlands) ,  Karakus Can (Amazon, Seattle, WA, USA) ,  Lockman John A. III (Dell EMC, Austin, TX, USA) ,  Podareanu Damian (SURFSara, Utrecht, The Netherlands) ,  Saletore Vikram (Intel, Portland, OR, USA) ,  Sergeev Alexander (Uber, Seattle, WA, USA) ,  Smith Don D. II (Dell EMC, Austin, TX, USA) ,  Suthichai Victor (Amazon, Seattle, WA, USA) ,  Ta Quy (Dell EMC, Austin, TX, USA) ,  Varadharajan Srinivas (Dell EMC, Austin, TX, USA) ,  Wilson Lucas A. (Dell EMC, Austin, TX, USA) ,  Xu Rengan (Dell EMC, Austin, TX, USA) ,  Yang Pei (Dell EMC, Austin, TX, USA)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 11501  ページ： 23-39  発行年： 2019年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 人間の言語を翻訳するためのニューラルネットワークを用いた神経機械翻訳は,機械翻訳性能を劇的に改善する目的で,新しいニューロンタイプとネットワークトポロジーを探索する活発な研究の領域である。現在の最先端のアプローチは,マルチヘッドの注意ベースの変圧器のような,非常に大きな翻訳コーパスと多くのエポックを必要とし,合理的な品質のモデルを作り出す。複数のノードを横切る公式のTensorFlow変換器モデルを並列化する最近の試みは,過剰なメモリ使用によりロードブロックをヒットし,MPI収集を実行するときのメモリ誤りの結果となる。本論文では,保証スパーステンソルを高密度テンソルに変換することにより,変圧器モデルに対するメモリ使用を低減するために,Horovod MPIに基づく分散訓練フレームワークに対する修正を記述し,次に,高密度勾配縮小によるスパース勾配収集を置き換えた。結果はスケールアウト能力の劇的な増加であり,CPUのみのスケーリング試験では,1200MPIプロセス(300ノード)まで91%の弱いスケーリング効率を達成し,Stampedge2スーパーコンピュータを用いた400MPIプロセス(200ノード)まで最大65%の強いスケーリング効率を達成した。Copyright 2019 Springer Nature Switzerland AG Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： コーパス ,  言語 ,  変換器 ,  ネットワーク構造 ,  品質 ,  スーパコンピュータ ,  *テンソル ,  記憶装置 ,  ニューラルネットワーク ,  ニューロン ,  変圧器 ,  *機械翻訳
準シソーラス用語： スケールアウト ,  *スパース ,  *高密度 ,  EPOC , 【Automatic Indexing@JST】

分類 (2件)： 分子・遺伝情報処理  (JE15040B) ,  計算機網  (JC03000K)

タイトルに関連する用語 (10件)： ニューラル機械翻訳 ,  モデル ,  並列化 ,  訓練 ,  テンソル ,  蓄積 ,  MPI ,  集団 ,  仮想 ,  高密度化