文献

J-GLOBAL ID：202102226597404776   整理番号：21A0893929

Sunway Taihulightにおける並列確率勾配降下の最適化【JST・京大機械翻訳】

Optimization of Parallel Stochastic Gradient Descent on Sunway TaihuLight

著者 (4件)： Wang Minggui (University of Science and Technology of China,Hefei,China) ,  Wu Junmin (University of Science and Technology of China,Hefei,China) ,  Xu Dong (University of Science and Technology of China,Hefei,China) ,  Mao Sai (University of Science and Technology of China,Hefei,China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： MLBDBI  ページ： 18-23  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワーク(DNN)が機械学習と他のタスクにおいて顕著な表現学習能力を示すことはよく知られている。確率的勾配降下(SGD)アルゴリズムは,単純な使用,高速収束,および信頼できる効果の利点のために,多くの機械学習モデルを訓練するために広く使われている。大きなデータの背景において,SGDの非同期並列実装は,分散コンピューティング環境における機械学習の訓練を加速するために広く適用されてきた。しかし,DNNの訓練には膨大な数の時間がかかる計算がある。新興のSunway(SW)多コアプロセッサは,強力な計算能力と高い帯域幅を持ち,それは特に大きな計算オーバヘッドで並列タスクを処理するのに適している。本論文では,非同期確率勾配降下(ASGD)法を多重プロセッサに効率的にスケーリングすることにより,パラメータを更新する方式を提案した。著者らの新しい方法は,Sunway TaihuLightスーパーコンピュータに関する効率的な並列フレームワークであるswCaffeに基づいている。CIFAR10データセットを用いて,MNISTデータセットとCIFAR10-スキックを用いてLENETニューラルネットワークを訓練することにより,実装を評価した。実験結果は,著者らの実装が,SwCaffeで用いられる同期確率的勾配降下(SSGD)と比較して,TaihuLightスーパーコンピュータ上でかなりの高速化を達成することを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  *最適化 ,  ニューラルネットワーク ,  マルチプロセッサシステム ,  帯域幅 ,  分散処理 ,  高速化 ,  スーパコンピュータ ,  機械学習
準シソーラス用語： オーバヘッド ,  並列実装 ,  *確率勾配 ,  ディープニューラルネットワーク ,  表現学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： 確率勾配 ,  降下 ,  最適化