無限幅極限を超えたニューラル接線カーネル:深さと初期化の効果【JST・京大機械翻訳】

Seleznova Mariia; Kutyniok Gitta

プレプリント

J-GLOBAL ID：202202207875697550 整理番号：22P0283165

無限幅極限を超えたニューラル接線カーネル:深さと初期化の効果【JST・京大機械翻訳】

Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月01日プレプリントサーバーでの情報更新日： 2022年07月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルタンジェントカーネル(NTK)は,Jacot et al.(2018)による有名な結果のために,過パラメータ化ニューラルネットワークを分析するために広く使われており,無限幅限界において,NTKは訓練中に決定論的で一定である。しかし,この結果は,深さと幅が同時に無限になる傾向があるので,深いネットワークの挙動を説明することができない。本論文では,幅に匹敵する深さを持つ完全接続ReLUネットワークのNTKを研究した。NTK特性は,初期化における深さ対幅比およびパラメータの分布に著しく依存することを証明した。事実,我々の結果は,Poole et al.(2016)で同定されたハイパーパラメータ空間における3つの相の重要性を示した:カオス(EOC)の秩序,カオスおよびエッジ。3相全てにおける無限深さおよび幅限界におけるNTK分散の正確な表現を導出し,NTK変動がEOCおよびカオス相において深さとともに指数的に成長するが,秩序相ではそうではないと結論した。また,深層ネットワークのNTKは整然とした相でのみ訓練中に一定に留まり,訓練中にNTK行列の構造がどのように変化するかを論じた。【JST・京大機械翻訳】

, , , , , , ,
, , , 【Automatic Indexing@JST】

計算機網 , 計算機システム開発 , 電話・データ通信・交換一般

, , , ,

前のページに戻る