文献

J-GLOBAL ID：201902225948639470   整理番号：19A1604191

大規模ミニバッチ訓練における二次最適化のための性能改善アプローチ【JST・京大機械翻訳】

A Performance Improvement Approach for Second-Order Optimization in Large Mini-batch Training

著者 (2件)： Naganuma Hiroki (Tokyo Institute of Technology) ,  Yokota Rio (Tokyo Institute of Technology)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： CCGrid  ページ： 696-703  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 古典的学習理論は,モデルのパラメータの数がデータと比較して大き過ぎるとき,モデルは過剰になり,一般化性能は悪化する。しかし,深いニューラルネットワーク(DNN)は,古典的学習理論の予測を超える,非常に大量のデータとモデルパラメータによる訓練により,高い一般化能力を達成できることが経験的に示されている。これの一つの欠点は,DNNの訓練が膨大な計算時間を必要とすることである。したがって,大規模並列化により訓練時間を短縮する必要がある。DNNの直接データ並列化は収束と一般化を劣化させる。本研究では,大規模バッチ訓練におけるこの一般化ギャップを解くための二次法を用いる可能性を調べた。これは,各ミニバッチがより統計的に安定になるという著者らの観察によって動機づけられ,したがって,曲率を考慮することの効果は,大規模なバッチ訓練においてより重要な役割を果たす。また,自然勾配法を適切に適応させることにより,正則化能力の欠如により,一般化性能がさらに劣化することを見出した。損失関数を平滑化することにより改良二次法を提案した。これにより二次法を一般化し,ミニバッチSGDを一般化することができる。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： モデル ,  *ロット ,  正則化 ,  ニューラルネットワーク ,  傾斜法 ,  平滑化 ,  損失関数 ,  曲率
準シソーラス用語： データ並列 ,  モデルパラメータ ,  学習理論 , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 大規模 ,  バッチ ,  訓練 ,  二次最適化 ,  性能改善