文献

J-GLOBAL ID：202202282997422936   整理番号：22A1091012

DPLRS:分散母集団学習速度スケジュール【JST・京大機械翻訳】

DPLRS: Distributed Population Learning Rate Schedule

著者 (5件)： Wei Jia (School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China) ,  Zhang Xingjun (School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China) ,  Ji Zeyu (School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China) ,  Wei Zheng (School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China) ,  Li Jingbo (School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China)
資料名： Future Generation Computer Systems  (Future Generation Computer Systems)
巻： 132  ページ： 40-50  発行年： 2022年 
JST資料番号： A0620C  ISSN： 0167-739X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワークモデルは人工知能の分野において非常に明快であるが,それらの成功はハイパーパラメータによって影響され,学習速度スケジュールは最も重要なハイパーパラメータの1つであり,学習速度スケジュールの探索はしばしば時間がかかり,計算資源集約的である。本論文では,分散データ並列深層ニューラルネットワーク訓練を用いて,試験精度のほとんど損失なしに,母集団アイデアに基づく動的学習速度スケジュール最適化戦略を実行した。DPLRSは,通常の準最適戦略に従う代わりに,モデル訓練中の学習速度スケジュールを動的に精密化できる。著者らは,Tianhe-3超計算プロトタイプを用いて,典型的AlexNet,VGG16,およびResNet18に関する実験を行った。結果は,学習速度を動的に更新するためにDPLRSを使用することが,学習速度スケジュールの探索時間を大いに減らすことができて,同時に,最新の母集団ハイパーパラメータアルゴリズムによって,近い性能を確実にすることができることを例証した。また,著者らの実験では,DPLRSは123.85x高速化最大値をもたらし,DPLRSの有効性とロバスト性を証明した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  最適化 ,  人工知能 ,  精密化 ,  *母集団 ,  高速化 ,  有効性 ,  ロバスト性 ,  プロトタイプ
準シソーラス用語： 探索時間 ,  データ並列 ,  学習速度 ,  計算資源 ,  ハイパーパラメータ ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： 深層学習 ,  分散訓練 ,  ハイパーパラメータ探索 ,  データ並列 ,  ポピュレーションアルゴリズム

分類 (1件)： 計算機網  (JC03000K)

タイトルに関連する用語 (3件)： 母集団 ,  学習速度 ,  スケジュール