Metaミラー降下:高速収束のための最適化学習【JST・京大機械翻訳】

Gao Boyan; Gouk Henry; Lee Hae Beom; Hospedales Timothy M.

プレプリント

J-GLOBAL ID：202202202358897009 整理番号：22P0299361

Metaミラー降下:高速収束のための最適化学習【JST・京大機械翻訳】

Meta Mirror Descent: Optimiser Learning for Fast Convergence

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月05日プレプリントサーバーでの情報更新日： 2022年03月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最適化器は訓練機械学習モデルのための必須成分であり,それらの設計は学習速度と一般化に影響する。いくつかの研究は,一般化誤差が最適化パラメータに関して最小化される2レベル最適化問題を解くことにより,より効果的な勾配-日光最適化者を学習することを試みてきた。しかし,ほとんどの既存の最適化学習法は,明確な理論的サポートなしで直感的に動機づけられている。勾配降下よりもミラー降下から出発する異なる視点を取り上げ,対応するBregman発散をメタ学習した。このパラダイムの中で,学習のレグレット結合を最小化する新しいメタ学習目的を定式化した。Meta Mirror Descent(MetaMD)と呼ばれる得られたフレームワークは,最適化速度を加速するように学習する。多くのメタ学習最適化者と異なり,収束と一般化保証もサポートし,検証データを必要とせずに,一意的である。収束速度と一般化誤差に関して様々なタスクとアーキテクチャに関するフレームワークを評価し,強い性能を示した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る