機械学習におけるリチャードソン外挿の有効性について【JST・京大機械翻訳】

Bach Francis

プレプリント

J-GLOBAL ID：202202211214709100 整理番号：22P0109159

機械学習におけるリチャードソン外挿の有効性について【JST・京大機械翻訳】

On the Effectiveness of Richardson Extrapolation in Machine Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (1件)：
資料名：
発行年： 2020年02月07日プレプリントサーバーでの情報更新日： 2020年07月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Richardson外挿は,元の推定法の内部構造を詳細に知る必要がなく,そのハイパーパラメータの1つの異なる値から得られた線形数推定値を結合することにより,推定法の近似誤差を改善できる数値解析からの古典的技術である。本論文の主目的は,確率的勾配降下におけるステップサイズ適応への既存の応用を超えて,Richardson外挿が機械学習内で使用できるときの研究である。Richardson補間が有用である2つの状況を同定した。(1)ハイパーパラメータが,既存の反復最適化アルゴリズムの反復数である場合,平均勾配降下とFrank-Wolfeアルゴリズム(ここで,著者らは,kが反復の数である),および(2)非平滑関数を最小化するためのNsterov平滑化技術への応用(ここでは,著者らは,非平滑関数に対してO(1/k ̄2に近い漸近速度を得る),および,リッジ回帰)を,正則化パラメータである場合,(ここで,著者らは,反復の数である),そして(2)正則化パラメータであるとき,それは,非平滑関数(ここでは,O(1/k ̄2)の漸近的速度を得る)であった。これらのすべての場合において,外挿技法は性能において有意な損失をもたらさないが,時には強い利得を持ち,そのような利得に対する漸近展開に基づく理論的正当化,および機械学習からの古典的問題に関する経験的説明を提供することを示した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る