ニューラルネットワークにおける過剰容量の測定について【JST・京大機械翻訳】

Graf Florian; Zeng Sebastian; Rieck Bastian; Niethammer Marc; Kwitt Roland

プレプリント

J-GLOBAL ID：202202212611274400 整理番号：22P0290682

ニューラルネットワークにおける過剰容量の測定について【JST・京大機械翻訳】

On Measuring Excess Capacity in Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月16日プレプリントサーバーでの情報更新日： 2023年01月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

教師つき分類の文脈における深層ネットワークの過剰容量を研究した。すなわち,この事例において,基礎となる仮説クラスの容量測度を与えられた場合,経験的Rademacher複雑性は,どの程度の範囲がこのクラスを制約し,一方,制約のない体制で,経験的誤差を保持しながら,このクラスを制約する。現代のアーキテクチャ(残差ネットワークのような)における過剰容量を評価するために,著者らは,機能構成と加算を収容するために,また畳み込みの構造と同様に,事前Rademacher複雑性限界を拡張し,統一する。この限界における容量駆動項は,層のLipschitz定数と,(2,1)グループノルム距離が畳み込み重みの初期化に対する。種々のタスク困難のベンチマークデータセットに関する実験は,(1)タスクあたりかなりの量の過剰容量があり,(2)容量がタスクを通して驚くほど類似したレベルで保たれることを示した。全体として,これは重量基準に関する圧縮性の概念を示唆し,重量剪定による古典的圧縮に相補的である。ソースコードはhttps://github.com/rkwitt/excess_capacityで利用可能である。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

前のページに戻る