文献

J-GLOBAL ID：202002253374214964   整理番号：20A2283154

ブロック対角行列前処理からSGDへのスイッチングによる適応学習速度の一般化性能の改善【JST・京大機械翻訳】

Improving Generalization Performance of Adaptive Learning Rate by Switching from Block Diagonal Matrix Preconditioning to SGD

著者 (2件)： Ida Yasutoshi (NTT Software Innovation Center,Tokyo,Japan) ,  Fujiwara Yasuhiro (NTT Communication Science Laboratories,Tokyo,Japan)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： IJCNN  ページ： 1-8  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワーク(DNN)は,様々な応用に対して広く用いられている。適応学習速度アルゴリズムはDNN訓練にとって魅力的であるが,それらの理論的性能は不明なままである。事実,公開された解析は凸最適化のような単純な最適化設定のみを考慮し,そのどれもDNN訓練に適用できない。本論文では,適応学習速度アルゴリズムを用いて2段階最適化器であるTSO-ALRAを提案した。それは,DNNsに適合する2つの手法の完全な解析に基づいている:統計的多様体上の測地線に沿ったパラメータ更新と勾配の共分散構造。著者らの解析は,既存の適応学習速度アルゴリズムによって使用される対角近似が,必然的にそれらの効率を低下させることを明らかにした。さらに,この解析は,適応学習速度アルゴリズムが訓練の最終段階で一般化性能の低下を被ることを示唆する。これらの問題を克服するために,TSO-ALRAは効果的な近似技術とスイッチング戦略を組み合わせた。いくつかのモデルとデータセットに関する著者らの実験は,TSO-ALRAが高い一般化性能によって効率的に収束することを示した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *アルゴリズム ,  最適化 ,  スイッチング ,  多様体 ,  前処理 ,  共分散 ,  近似法 ,  測地線
準シソーラス用語： *適応学習 ,  *対角行列 ,  凸最適化 ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： 対角行列 ,  前処理 ,  スイッチング ,  適応 ,  学習速度 ,  一般化