抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
ニューラルタンジェントカーネル(NTK)は,Jacot et al.(2018)による有名な結果のために,過パラメータ化ニューラルネットワークを分析するために広く使われており,無限幅限界において,NTKは訓練中に決定論的で一定である。しかし,この結果は,深さと幅が同時に無限になる傾向があるので,深いネットワークの挙動を説明することができない。本論文では,幅に匹敵する深さを持つ完全接続ReLUネットワークのNTKを研究した。NTK特性は,初期化における深さ対幅比およびパラメータの分布に著しく依存することを証明した。事実,我々の結果は,Poole et al.(2016)で同定されたハイパーパラメータ空間における3つの相の重要性を示した:カオス(EOC)の秩序,カオスおよびエッジ。3相全てにおける無限深さおよび幅限界におけるNTK分散の正確な表現を導出し,NTK変動がEOCおよびカオス相において深さとともに指数的に成長するが,秩序相ではそうではないと結論した。また,深層ネットワークのNTKは整然とした相でのみ訓練中に一定に留まり,訓練中にNTK行列の構造がどのように変化するかを論じた。【JST・京大機械翻訳】