文献

J-GLOBAL ID：202202238609838911   整理番号：22A0803803

新しい非適応最適化法:運動量と差による確率勾配降下【JST・京大機械翻訳】

A new non-adaptive optimization method: Stochastic gradient descent with momentum and difference

著者 (3件)： Yuan Wei (School of Mathematics, Tianjin University, Tianjin, China) ,  Hu Fei (School of Mathematics, Tianjin University, Tianjin, China) ,  Lu Liangfu (School of Mathematics, Tianjin University, Tianjin, China)
資料名： Applied Intelligence  (Applied Intelligence)
巻： 52  号： 4  ページ： 3939-3953  発行年： 2022年 
JST資料番号： W0297A  ISSN： 0924-669X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 適応最適化法(AdaGrad,RMSProp,Adam,Radam)と非適応最適化法(運動量によるSGDやSGDのような)は,最近,深層学習で使用されている。前者は高速収束速度の特性を有するが,収束精度が低い。後者の収束速度は比較的遅いが,収束精度は高い。新しい非適応法,運動量と差(SGD(MD))による確率的勾配降下を提案し,それは差異のアイデアに基づいている。隣接ミニバッチ勾配間の差を作成し,次に勾配変動の指数関数的移動平均を更新した。すなわち,勾配変動の指数関数的移動平均を更新し,次に,累積平均変動を,このアルゴリズムの収束方向を調整し,収束速度を加速するために,電流勾配に加えた。他のポピュラーな最適化法と比較して,実験結果は,差異の方法を用いて,著者らのSGD(MD)がSGD(M)より著しく優れていて,AdamとRAdamを含む適応最適化方法より,時々,そして,時々より良いことを示した。Copyright The Author(s), under exclusive licence to Springer Science+Business Media, LLC part of Springer Nature 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  *運動量 ,  *最適化 ,  収束 ,  速度 ,  電流 ,  最適化手法 ,  *勾配 ,  指数関数 ,  *適応 ,  下降 ,  機械学習
準シソーラス用語： 収束速度 ,  *確率勾配 ,  深層学習 , 【Automatic Indexing@JST】

著者キーワード (4件)： 最適化手法 ,  深層学習 ,  確率勾配 ,  差異

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： 最適化 ,  運動量 ,  確率勾配 ,  降下