非線形補間ネットワークにおける線形層の役割【JST・京大機械翻訳】

Ongie Greg; Willett Rebecca

プレプリント

J-GLOBAL ID：202202218304744677 整理番号：22P0283468

非線形補間ネットワークにおける線形層の役割【JST・京大機械翻訳】

The Role of Linear Layers in Nonlinear Interpolating Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月01日プレプリントサーバーでの情報更新日： 2022年02月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,2層以上の深さの過パラメータ化ニューラルネットワークの陰的バイアスを調べた。このフレームワークは,すべて同じ容量を持つが,異なる暗黙的に定義された表現コストを持つ,様々な深さのネットワークファミリーを考慮する。ニューラルネットワークアーキテクチャによって誘発される関数の表現コストは,機能を表現するためにネットワークに必要な二乗重みの最小和である。それはアーキテクチャに関連した関数空間バイアスを反映する。結果は,ReLUネットワークに線形層を追加すると,ReLUユニットのアラインメントとスパース性の間の複雑な相互作用を反映する表現コストが得られることを示した。特に,最小表現コストで訓練データを適合させるためにニューラルネットワークを用いることは, par観的補間が存在する低次元部分空間に垂直な方向において一定である補間関数を与える。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能

, ,

前のページに戻る