文献

J-GLOBAL ID：202202229940416910   整理番号：22A1174291

ニューラルネットワークにおけるSIGNSGD最適化のための適応学習速度スケジュール【JST・京大機械翻訳】

An Adaptive Learning Rate Schedule for SIGNSGD Optimizer in Neural Networks

著者 (3件)： Wang Kang (The National Laboratory for Parallel and Distributed Processing, School of Computer, National University of Defense Technology, Changsha, Hunan, China) ,  Sun Tao (The National Laboratory for Parallel and Distributed Processing, School of Computer, National University of Defense Technology, Changsha, Hunan, China) ,  Dou Yong (The National Laboratory for Parallel and Distributed Processing, School of Computer, National University of Defense Technology, Changsha, Hunan, China)
資料名： Neural Processing Letters  (Neural Processing Letters)
巻： 54  号： 2  ページ： 803-816  発行年： 2022年 
JST資料番号： W0953A  ISSN： 1370-4621  CODEN： NPLEFG  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： SIGNSGDは,勾配通信圧縮を達成し,標準確率的勾配降下(SGD)レベル収束速度を維持する,各ミニバッチ確率勾配の符号を送信することにより,訓練大規模ニューラルネットワークの性能を劇的に改善できる。一方,学習速度は訓練ニューラルネットワークにおいて不可欠な役割を果たすが,既存の学習速度最適化戦略は次の問題に直面している。(1)学習速度減衰法に対して,小さな学習速度はゆっくり収束し,初期学習速度を除いて余分なハイパーパラメータが必要となり,より多くの人間参加を引き起こす。(2)適応勾配アルゴリズムは貧弱な一般化性能を持ち,また他のハイパーパラメータを利用する。(3)2レベル最適化モデルによる学習率は訓練において困難で時間がかかる。この目的のために,SIGNSGD最適化器によるニューラルネットワーク訓練のための新しい適応学習速度スケジュールを初めて提案した。提案手法では,収束速度の上限が各反復における現在の学習速度による最小化を持つという理論的インスピレーションに基づいて,現在の学習速度は,単に歴史的学習速度に関係する数学的表現によって表現できる。次に,初期値を与えて,異なる訓練段階における学習速度を適応的に得ることができた。提案手法は以下の利点を持つ。(1)それは,1つの初期値を除いて,追加のハイパーパラメータのない新しい自動的方法であり,このように,手動参加を減らす。(2)それはより速い収束速度を有して,標準SGDより優れていた。(3)ニューラルネットワークは,より少ない勾配通信ビットでより良い性能を達成する。3つの数値シミュレーションを3つの公開データセット(MNIST,Cifar-10およびCifar-100データセット)によって異なるニューラルネットワークに関して実行して,いくつかの数値結果を提示して,著者らの提案した方法の効率性を実証した。Copyright The Author(s), under exclusive licence to Springer Science+Business Media, LLC, part of Springer Nature 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 効率 ,  *最適化 ,  速度 ,  *学習 ,  *ニューラルネットワーク ,  勾配 ,  通信 ,  下降 ,  モデル ,  パラメータ
準シソーラス用語： *適応学習 ,  数値シミュレーション ,  収束速度 ,  学習速度 ,  最適化モデル ,  ハイパーパラメータ ,  勾配アルゴリズム , 【Automatic Indexing@JST】

著者キーワード (5件)： SIGNSGD最適化装置 ,  適応学習速度戦略 ,  コミュニケーション ,  高速収束 ,  ニューラルネットワーク

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： ニューラルネットワーク ,  最適化 ,  適応 ,  学習速度 ,  スケジュール