文献

J-GLOBAL ID：201902217141428028   整理番号：19A1604154

分散深層学習のための異種クラスタシステム上のグルーピングに基づく新しい確率的勾配降下アルゴリズム【JST・京大機械翻訳】

A Novel Stochastic Gradient Descent Algorithm Based on Grouping over Heterogeneous Cluster Systems for Distributed Deep Learning

著者 (7件)： Jiang Wenbin (Huazhong University of Science and Technology) ,  Ye Geyan (Huazhong University of Science and Technology) ,  Yang Laurence T. (Huazhong University of Science and Technology) ,  Zhu Jian (Huazhong University of Science and Technology) ,  Ma Yang (Huazhong University of Science and Technology) ,  Xie Xia (Huazhong University of Science and Technology,) ,  Jin Hai (Huazhong University of Science and Technology)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： CCGrid  ページ： 391-398  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 不均一クラスタシステムに関して,ニューラルネットワークモデルの収束性能は,機械の異なる性能によって大いに障害される。本論文において,著者らは,分散した深い学習のためにグループ化SGDと呼ばれる新しい分散確率的勾配(SGD)アルゴリズムを提案して,それはSync-SGD,Async-SGD,およびStale-SGDより速く収束した。グループ化SGDにおいて,機械は複数のグループに分割され,同じグループの機械が類似の性能を持つことを保証する。同じグループの機械はモデルを同期的に更新するが,異なるグループはモデルを非同期的に更新する。さらに,グループ化SGDの性能を向上させるために,パラメータサーバを高速から低速に配置して,それらは,それぞれより低い層からより高い層までモデルパラメータを更新するために責任があった。実験結果は,グループ化SGDが,一般的画像分類ベンチマークを用いて1.2~3.7倍のスピードアップを達成できることを示した。すなわち,Sync-SGD,Async-SGD,およびStale-SGDと比較して,MNIST,Cifar10,Cifar100,およびImageNetである。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 低速度 ,  *アルゴリズム ,  高速度 ,  ベンチマーク
準シソーラス用語： 画像分類 ,  モデルパラメータ ,  神経回路網モデル ,  *コンピュータクラスタ ,  *深層学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (7件)： 深層学習 ,  クラスタシステム ,  グルーピング ,  確率 ,  勾配 ,  降下 ,  アルゴリズム