適応ステップサイズ範囲の抑制によりAdaBelief上で改善するDNN最適化器【JST・京大機械翻訳】

Zhang Guoqiang; Niwa Kenta; Kleijn W. Bastiaan

プレプリント

J-GLOBAL ID：202202221030654995 整理番号：22P0309923

適応ステップサイズ範囲の抑制によりAdaBelief上で改善するDNN最適化器【JST・京大機械翻訳】

A DNN Optimizer that Improves over AdaBelief by Suppression of the Adaptive Stepsize Range

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2023年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

適応最適化性能の改善に向けた貢献を行った。この改善は,AdaBelief最適化器における適応ステップの範囲の抑制に基づいている。最初に,AdaBeliefの更新表現内のパラメータε′′の特定の配置が適応ステップの範囲を低減し,AdaBeliefを運動量によりSGDに近づけることを示した。第二に,適応ステップの範囲をさらに抑制することによってAdaBeliefを拡張した。上記の目標を達成するために,著者らは,勾配g_tとその最初の運動量m_tの間の相互層別ベクトル射影を,それらを用いて二次運動量を推定する前に実行した。新しい最適化手法はAidaと呼ばれる。第3に,広範な実験結果は,Aidaが,NLPのための変圧器とLSTMを訓練するとき,9つの最適化者と,CIAF10とCIFAR100に関する画像分類のためのVGGとResNetを,画像生成タスクのためにWGAN-GPモデルを訓練するとき,9つの方法の最良の性能に整合するのを示している。さらに,AidaはAdaBeliefより高い検証精度を,ImageNet上でResNet18を訓練するために生産する。このURLではコードが利用可能である。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る