ランダム線形特徴による過剰パラメータ化回帰のBias-分散分解【JST・京大機械翻訳】

Rocks Jason W.; Mehta Pankaj

プレプリント

J-GLOBAL ID：202202200067597242 整理番号：22P0302093

ランダム線形特徴による過剰パラメータ化回帰のBias-分散分解【JST・京大機械翻訳】

Bias-variance decomposition of overparameterized regression with random linear features

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年03月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

古典的統計において,バイアス-分散トレードオフは,モデルの複雑さ(例えば,適合パラメータの数)がどのように正確な予測を行う能力に影響するかを記述する。このトレードオフに従って,モデルがデータにおける傾向を捕えるのに十分表現されたとき,最適性能が達成されるが,訓練データの固有の特徴にフィットするのは複雑ではない。最近,バイアス-分散のこの古典的理解は,適合パラメータの数が訓練データに完全に当てはまるのに十分大きい場合でさえ,過剰適合を避ける「過剰パラメータ化モデル」の増分予測性能の観点から,基本的に再考されなければならないことが明らかになってきた。ここでは,ランダム線形特徴(即ち,線形活性化関数を持つ2層ニューラルネットワーク)による回帰という,過パラメータ化モデルの最も単純な例の一つに対する結果を示した。ゼロ温度空洞法を用いて,訓練誤差,試験誤差,バイアスおよび分散に対する解析的表現を導いた。線形ランダム特徴モデルは3つの相転移を示す:訓練誤差がゼロで,大きなバイアスと最小バイアスを持つ領域間の付加的遷移と共に,内挿領域への2つの異なる遷移を示した。ランダム行列理論を用いて,Hessian行列における小さな非ゼロ固有値により各遷移がどのように起こるかを示した。最後に,ランダム非線形特徴モデルおよび通常の回帰に対するランダム線形特徴モデルの相図を比較し,対比し,線形基底関数の使用から生じる新しい相転移を強調した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

数値計算 , パターン認識

, ,

前のページに戻る