文献

J-GLOBAL ID：202202229721600518   整理番号：22A0803801

深層学習フレームワークテンソルフローのための最適分散並列アルゴリズム【JST・京大機械翻訳】

Optimal distributed parallel algorithms for deep learning framework Tensorflow

著者 (4件)： Xie Yuanlun (School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  He Majun (School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Ma Tingsong (School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Tian Wenhong (School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu, China)
資料名： Applied Intelligence  (Applied Intelligence)
巻： 52  号： 4  ページ： 3880-3900  発行年： 2022年 
JST資料番号： W0297A  ISSN： 0924-669X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： その放出以来,Tensorflowフレームワークは,深層学習におけるその利点により,様々な分野で広く使用されている。しかし,それはまだ初期状態である。そのネイティブ分散実装は,単一マシン上での実行と比較して,多重GPUの低い利用と遅い分布の問題があるので,大きなモデルの拡大に困難がある。並列モデルを通して訓練時間を減らすことは非常に重要である。これを考慮して,まず,Tensorflowの実装原理の徹底的な解析を提供し,その自然分布並列モデルのボトルネックを同定し,改善した。次に,2つの最適アルゴリズムを設計して,Tensorflowのデータ並列性とモデル並列モードに基づいて実行した。データ並列性のために,提案したアルゴリズムは,パイプライン実行モードによって本来の直線的実行モードを置き換えるために実行した。モデル並列性に関して,ネイティブランダム分割モードを,著者らの提案した新規 greedy欲アルゴリズムによって置き換えた。最後に,均一分布クラスタと不均一分散クラスタを構築し,提案アルゴリズムの有効性を検証した。多くの比較実験により,提案した最適並列アルゴリズムが,モデル訓練時間を平均26.5%(自然分散アルゴリズムよりも平均1.5x高速化)で効果的に低減でき,クラスタの利用を改善し,一方,ネイティブTensorflowの同じ精度レベルを維持した。Copyright The Author(s), under exclusive licence to Springer Science+Business Media, LLC, part of Springer Nature 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *アルゴリズム ,  *テンソル ,  最適化手法 ,  精度 ,  多重化 ,  クラスタ ,  並列演算 ,  モデル ,  障害 ,  高速化 ,  *機械学習 ,  *並列アルゴリズム ,  分散アルゴリズム ,  *フレームワーク【ソフトウェア開発】
準シソーラス用語： データ並列 ,  一様分布 ,  *深層学習 , 【Automatic Indexing@JST】

著者キーワード (5件)： 深層学習 ,  テンソルフロー ,  データ並列性 ,  モデル並列性 ,  最適分散並列アルゴリズム

分類 (1件)： ディジタル計算機方式一般  (JC02010O)

タイトルに関連する用語 (2件)： 深層学習 ,  並列アルゴリズム