有限幅ニューラルネットワークにおける二重降下の現象論【JST・京大機械翻訳】

Singh Sidak Pal; Lucchi Aurelien; Hofmann Thomas; Scholkopf Bernhard

プレプリント

J-GLOBAL ID：202202202891017924 整理番号：22P0303987

有限幅ニューラルネットワークにおける二重降下の現象論【JST・京大機械翻訳】

Phenomenology of Double Descent in Finite-Width Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年03月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Double Double降下は,以下の領域に依存するモデルの一般化挙動を描写する。この現象の発生の背後にある現在の理論的理解は,主に線形およびカーネル回帰モデルに基づくものであり,ニューラルネットワークとの並列は,ニューラルタンジェントカーネルを介している。したがって,このような解析は,有限幅ニューラルネットワークにおける二重降下の背後にある機構を適切に捉えるだけでなく,損失関数の選択のような重要な成分を無視する。パラメータモデルの形式に関する最小仮定を課しながら,個体群損失とその下限の適切な表現を導くために,影響関数を用いて,これらの欠点に対処した。導出した限界は,最適でHessianのスペクトルと密接な関連を持ち,重要なことに,補間閾値で二重降下挙動を示す。解析の上に,損失関数がどのように二重降下に影響し,従って,ニューラルネットワークの興味深い特性と補間閾値近くのHessianスペクトルを明らかにした。【JST・京大機械翻訳】

, , , , , , ,
, , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 数値計算 , 固体の処理装置一般 , 集塵

, ,

前のページに戻る