凸双対性による深層ニューラルネットワークの構造の解明【JST・京大機械翻訳】

Ergen Tolga; Pilanci Mert

プレプリント

J-GLOBAL ID：202202217778902676 整理番号：21P0025045

凸双対性による深層ニューラルネットワークの構造の解明【JST・京大機械翻訳】

Revealing the Structure of Deep Neural Networks via Convex Duality

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年02月22日プレプリントサーバーでの情報更新日： 2021年06月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

正則化深層ニューラルネットワーク(DNN)を研究し,隠れ層の構造を特性化するために凸解析フレームワークを導入した。ノルム正則化DNN訓練問題に対する最適隠れ層重みの集合を凸集合の極値点として明示的に見出すことができることを示した。深い線形ネットワークの特殊事例に対して,著者らは,各最適重み行列が双対性を介して以前の層と整列することを証明した。より重要なことに,著者らは,白色化データを有する深いReLUネットワークに同じキャラクタリゼーションを適用し,同じ重みアラインメントを保持することを証明した。共ロールとして,ノルム正則化深いReLUネットワークが,2層ネットワークのみに対して以前に知られている1次元データセットに対してスプライン補間を生成することを証明した。さらに,データがランク1または白化されるとき,最適層重みに対する閉形式解を提供した。同じ分析は,任意のデータに対してもバッチ正規化を持つアーキテクチャにも適用できる。したがって,著者らは,クラスがシンプレックス等角のタイトフレームの頂点に崩壊するという,神経崩壊と呼ばれる最近の経験的観察の完全な説明を得る。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能

, ,

前のページに戻る