文献

J-GLOBAL ID：201902233441564876   整理番号：19A0497363

データ並列深層学習における高速収束のための遅延重み更新【JST・京大機械翻訳】

DELAYED WEIGHT UPDATE FOR FASTER CONVERGENCE IN DATA-PARALLEL DEEP LEARNING

著者 (7件)： Youkawa Tetsuya (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Mori Haruki (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Miyauchi Yuki (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Yamada Kazuki (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Izumi Shintaro (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Yoshimoto Masahiko (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan) ,  Kawaguchi Hiroshi (Graduate School of Science, Technology and Innovation, Kobe University, Kobe, Japan)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2018  号： GlobalSIP  ページ： 663-667  発行年： 2018年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文は,遅延重み更新を用いたデータ並列確率勾配降下(SGD)の提案を提示した。大規模ニューラルネットワークは高度な問題を解決するように見えるが,その処理時間はネットワークスケールと同時に増加する。従来のデータ並列化のために,作業者は,重み更新の間,サーバからデータ通信のために待たなければならない。提案したデータ並列法を用いて,ネットワーク重みは遅延を有した。したがって,それはstaleである。それにもかかわらず,それはサーバのための重み通信の待ち時間を隠すことによってより速い収束時間を与える。サーバは,作業者がそれらの勾配を計算する間,同時に重量コミュニケーションと重量更新を実行した。実験的に得られた結果は,提案したデータ並列法において,最終精度がVGGとResNetの両方において従来法と比較して1.5%の劣化の範囲内で収束することを実証した。収束高速化因子は理論的に従来のデータ並列性の二倍に達した。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 通信 ,  加工時間 ,  データ通信 ,  ニューラルネットワーク ,  ネットワーク ,  待ち時間 ,  コミュニケーション ,  高速化 ,  *高速度
準シソーラス用語： 深層学習 ,  *データ並列 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： データ並列 ,  深層学習 ,  収束 ,  遅延 ,  更新