文献

J-GLOBAL ID：202202265420042009   整理番号：22A0398296

深層ニューラルネットワークにおける2相スイッチング最適化戦略【JST・京大機械翻訳】

Two-Phase Switching Optimization Strategy in Deep Neural Networks

著者 (2件)： Tan Hong Hui (Department of Electrical and Computer Engineering, Curtin University Malaysia, Miri, Malaysia) ,  Lim King Hann (Department of Electrical and Computer Engineering, Curtin University Malaysia, Miri, Malaysia)
資料名： IEEE Transactions on Neural Networks and Learning Systems  (IEEE Transactions on Neural Networks and Learning Systems)
巻： 33  号： 1  ページ： 330-339  発行年： 2022年 
JST資料番号： T0881A  ISSN： 2162-237X  CODEN： ITNNEP  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワークの最適化は,ネットワークハイパーパラメータの消失勾配問題と集中微調整のために常に困難である。多段階決定制御システムによって触発されて,確率的対角近似最大降下(SDAGD)アルゴリズムを,2相スイッチング最適化戦略を用いて最適学習重みを探すために本論文で提案した。提案した最適化器は,長期最適軌道に基づく相対ステップ長を制御し,効率的な重み更新のために対角近似Hessianを採用した。フェーズIでは,各局所球面探索領域の境界における最大ステップ長を計算し,次に最適解の方向に向かって急速に下降する。フェーズIIでは,高速収束を達成するために最適解に近づくと自動的に近似Newton法に切り替える。実験は,SDAGDが他の最適化技術と比較してより急な学習曲線を生み出して,より低い誤分類率を達成することを示した。また,より深いネットワークへの提案最適化器の実現を,消失勾配問題を研究するために,本論文で研究した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  *最適化 ,  スイッチング ,  学習 ,  学習曲線 ,  *ネットワーク ,  制御系 ,  最適化手法 ,  最適軌道 ,  Newton-Raphson法 ,  近似法
準シソーラス用語： 最適解 ,  微調整 ,  ハイパーパラメータ ,  *ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  通信網  (ND07030A)

タイトルに関連する用語 (4件)： 深層ニューラルネットワーク ,  スイッチング ,  最適化 ,  戦略