文献

J-GLOBAL ID：202202256285921406   整理番号：22A0977364

過剰パラメータ化2層ニューラルネットワークのための非負出力重みの自己正則性【JST・京大機械翻訳】

Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks

著者 (3件)： Gamarnik David (MIT, Cambridge, MA, USA) ,  Kzldag Eren C. (MIT, Cambridge, MA, USA) ,  Zadik Ilias (New York University, New York, NY, USA)
資料名： IEEE Transactions on Signal Processing  (IEEE Transactions on Signal Processing)
巻： 70  ページ： 1310-1319  発行年： 2022年 
JST資料番号： C0228A  ISSN： 1053-587X  CODEN： ITPRED  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 訓練誤差によって定量化されるできるだけ正確に訓練データセットを「適合」する,S字状,修正線形ユニット(ReLU),またはバイナリステップ活性化関数を持つ2層ニューラルネットワークを見つける問題を考察した。そして,以下の質問を研究する:低訓練エラーは,出力層(外部ノルム)自体のノルムが小さいという保証である。非負出力重みの場合に対して,この疑問を肯定的に回答した。簡単なカバー数議論を用いて,入力/ラベル対に関する非常に穏やかな分布仮定の下で,著者らは確立した。多項式に多くのデータで小さな訓練誤差を達成するそのようなネットワークには,よく制御された外部ノルムがある。特に,著者らの結果(a)は,多項式(d)サンプル複雑性を持ち,(b)隠れ単位の数(潜在的に非常に高い),(c)は訓練アルゴリズムに不活発である。(d)データに関する非常に穏やかな仮定(特に,入力ベクトルX∈Rdは独立座標を持たない)を必要とする。次に,この限界を利用して,ネットワークアーキテクチャが対象とする複雑性クラスのスケール感受性尺度である,脂肪-散乱次元を通してそのようなネットワークに対する一般化保証を確立した。特に,著者らの一般化限界は,良好なサンプル複雑性(低度でdで多項式)も有し,関心のあるいくつかの重要なケースに対して,実際にほぼ線形である。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 誤差 ,  散乱 ,  多項式 ,  ベクトル ,  *ネットワーク ,  *ニューラルネットワーク ,  限界 ,  ノルム ,  パラメタリゼーション ,  ネットワークアーキテクチャ ,  学習アルゴリズム
準シソーラス用語： 訓練データ ,  *正則性 ,  活性化関数 ,  複雑性 , 【Automatic Indexing@JST】

分類 (4件)： 信号理論  (ND02020G) ,  通信網  (ND07030A) ,  無線通信一般  (ND08010L) ,  数値計算  (JE02000J)

タイトルに関連する用語 (5件)： パラメータ化 ,  2層 ,  ニューラルネットワーク ,  自己 ,  正則性