文献

J-GLOBAL ID：202002267488647615   整理番号：20A0060975

深いニューラルネットワークのための暖かい再起動による多項式学習率ポリシー【JST・京大機械翻訳】

Polynomial Learning Rate Policy with Warm Restart for Deep Neural Network

著者 (2件)： Mishra Purnendu (Indian Institute of Technology (BHU),Department of Electronics Engineering,Varanasi,India,221005) ,  Sarawadekar Kishor (Indian Institute of Technology (BHU),Department of Electronics Engineering,Varanasi,India,221005)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： TENCON  ページ： 2087-2092  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 学習速度(LR)は,任意の深いニューラルネットワーク(DNN)最適化プロセスにおける最も重要なハイパーパラメータの1つである。それは,非凸損失表面を通してナビゲーションによってグローバル最小点へのネットワーク収束の速度を制御した。DNNの性能は,損失表面における局所極小,鞍点などの存在によって影響を受ける。一定数のエポックにおける因子による学習速度の減衰は,LRを変化させる従来の方法である。最近,学習速度を設定するための2つの新しいアプローチが導入されている。すなわち,周期的学習速度と温暖な再スタートを伴う確率的勾配降下である。これらのアプローチの両方において,学習速度値は2つの境界値間の周期的パターンで変化する。本論文では,これら二つのアプローチにより触発されたもう一つの温暖な再スタート技術を紹介し,「ポリ」LRポリシーを用いた。提案した手法は,暖かい再スタートを伴う多項式学習速度と呼ばれ,単一の暖かい再スタートのみを必要とする。提案したLRポリシーはDNNの高速収束に役立ち,それはわずかに高い分類精度を持つ。提案したLRポリシーの性能を,CNN,ResNetおよびWide Residual Network(WRN)アーキテクチャを用いて,CIFAR-100および小型画像ネットデータセット上で実証した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 鞍点 ,  計算機アーキテクチャ ,  *ネットワーク ,  最適化 ,  *学習 ,  *多項式 ,  凸形 ,  *ニューラルネットワーク
準シソーラス用語： 分類精度 ,  EPOC ,  ハイパーパラメータ ,  学習速度 ,  再起動 , 【Automatic Indexing@JST】

分類 (3件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： ニューラルネットワーク ,  再起動 ,  多項式 ,  学習率