過剰パラメータ化した浅いReLUネットワークにおけるスパース性について【JST・京大機械翻訳】

de Dios Jaume; Bruna Joan

プレプリント

J-GLOBAL ID：202202202034393369 整理番号：22P0160748

過剰パラメータ化した浅いReLUネットワークにおけるスパース性について【JST・京大機械翻訳】

On Sparsity in Overparametrised Shallow ReLU Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年06月17日プレプリントサーバーでの情報更新日： 2020年06月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

それらの線形化領域を超えたニューラルネットワーク訓練の解析は,単一隠れ層の最も単純なセットアップでさえ,未解決の問題である。無限に広いネットワークの限界は,平均場展望を通して,魅力的経路を提供するが,重要な挑戦は,実際のアルゴリズムが動作する有限ニューロン設定に,学習保証を返すことである。このギャップを閉鎖し,浅いニューラルネットワークに焦点を絞って,本研究では,無限に広い領域であっても,有限量のニューロンのみを必要とする解を捕捉するための異なる正則化戦略の能力を研究した。特に,著者らは,(i)訓練目標にノイズを注入することによって得られる暗黙正則化の形式(Blanc et al. ̄19),および(ii)平均場スケーリングと互換性のある変化-ノルム正則化[Bach ̄17]を考察した。活性化関数(例えばReLUで満足される)に関する穏やかな仮定の下で,著者らは,両方のスキームが,過剰パラメータ化の量に関係なく,有限数のニューロンだけを有する関数によって最小化されることを立証した。そのような特性の結果を研究し,正則化の1つの形が他よりも好ましい設定を記述した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能

前のページに戻る