Adaterm:雑音ロバスト確率勾配最適化のための適応T分布推定ロバストモーメント【JST・京大機械翻訳】

Ilboudo Wendyam Eric Lionel; Kobayashi Taisuke; Matsubara Takamitsu

プレプリント

J-GLOBAL ID：202202205399161970 整理番号：22P0275874

Adaterm:雑音ロバスト確率勾配最適化のための適応T分布推定ロバストモーメント【JST・京大機械翻訳】

AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月17日プレプリントサーバーでの情報更新日： 2023年08月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

深層学習アプリケーションの実用性の増加とともに,実務者は,測定誤差,誤ラベリング,および推定代理入力/出力のような様々な情報源からのノイズによって崩壊したデータセットに必然的に直面する。このアルゴリズムは,このアルゴリズムが最終的にネットワークパラメータを更新するので,ノイズに対する最適化アルゴリズムのロバスト性を改善する一般的な実践である。以前の研究は,Adam様確率的勾配降下最適化器で用いられる一次モーメントが,Studentのt分布に基づいて修正できることを明らかにした。この修正はノイズ耐性更新をもたらしたが,他の関連統計は不変であり,仮定されたモデルの不一致をもたらした。本論文では,Studentのt分布を組み込んだ新しいアプローチであるAdaTermを提案し,一次モーメントだけでなく,全ての関連統計量を導いた。これは,最適化プロセスの統一処理を提供し,初めてt分布の統計的モデルの下で包括的なフレームワークを提供する。提案アプローチは,低減されたハイパーパラメータおよび改善されたロバスト性および適応性を含む,以前に提案されたアプローチに対していくつかの利点を提供する。この雑音適応挙動は,異なるおよび/または未知の雑音比を有する様々な最適化問題によって実証されたように,AdaTermの例外的な学習性能に寄与する。さらに,AMSGradに頼ることなく,理論的レグレット結合を導くための新しい技術を導入し,その分野への貴重な貢献を提供した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , , , , , ,

前のページに戻る