抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
深層学習アプリケーションの実用性の増加とともに,実務者は,測定誤差,誤ラベリング,および推定代理入力/出力のような様々な情報源からのノイズによって崩壊したデータセットに必然的に直面する。このアルゴリズムは,このアルゴリズムが最終的にネットワークパラメータを更新するので,ノイズに対する最適化アルゴリズムのロバスト性を改善する一般的な実践である。以前の研究は,Adam様確率的勾配降下最適化器で用いられる一次モーメントが,Studentのt分布に基づいて修正できることを明らかにした。この修正はノイズ耐性更新をもたらしたが,他の関連統計は不変であり,仮定されたモデルの不一致をもたらした。本論文では,Studentのt分布を組み込んだ新しいアプローチであるAdaTermを提案し,一次モーメントだけでなく,全ての関連統計量を導いた。これは,最適化プロセスの統一処理を提供し,初めてt分布の統計的モデルの下で包括的なフレームワークを提供する。提案アプローチは,低減されたハイパーパラメータおよび改善されたロバスト性および適応性を含む,以前に提案されたアプローチに対していくつかの利点を提供する。この雑音適応挙動は,異なるおよび/または未知の雑音比を有する様々な最適化問題によって実証されたように,AdaTermの例外的な学習性能に寄与する。さらに,AMSGradに頼ることなく,理論的レグレット結合を導くための新しい技術を導入し,その分野への貴重な貢献を提供した。【JST・京大機械翻訳】