深層ニューラルネットワークにおける勾配ノルム等価性のための包括的でモジュール化された統計的フレームワーク【JST・京大機械翻訳】

Chen Zhaodong; Deng Lei; Wang Bangyan; Li Guoqi; Xie Yuan

プレプリント

J-GLOBAL ID：202202205968380058 整理番号：22P0096728

深層ニューラルネットワークにおける勾配ノルム等価性のための包括的でモジュール化された統計的フレームワーク【JST・京大機械翻訳】

A Comprehensive and Modularized Statistical Framework for Gradient Norm Equality in Deep Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年01月01日プレプリントサーバーでの情報更新日： 2020年01月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

近年,勾配爆発と消失のないネットワークを同定するために,多くの計量が提案されてきた。しかし,現代のDNNにおけるネットワークコンポーネントと複雑なシリアル並列ハイブリッド接続の多様性のため,既存のメトリックスの評価は,通常,強い仮定,複雑な統計解析,または限られた応用分野を必要とし,それはコミュニティにおけるそれらの広がりを制約する。本論文では,勾配Norm Eの品質と動的アイソメトリーに触発され,まず,ブロック動的アイソメトリックと呼ばれる新しいメトリックを提案し,個々のブロックにおける勾配ノルムの変化を測定する。著者らのブロック動的アイソメトリックはノルムベースであるので,その評価は元の動的アイソメトリーと比較してより弱い仮定を必要とする。挑戦的な導出を緩和するために,自由確率に基づく高度にモジュール化した統計的フレームワークを提案した。このフレームワークは,複雑な直列並列ハイブリッド接続とネットワークコンポーネントの多様性をカバーするライブラリを扱うためのいくつかの鍵定理を含む。さらに,いくつかの十分な必要条件を提供した。計量とフレームワークによってパワーをつけて,著者らは大規模な初期化,正規化とネットワーク構造を解析した。勾配Norm Eの品質がそれらの背後にある普遍的な philosophy学であることを発見した。次に,初期化技術のための活性化関数選択戦略,重み正規化のための新構成,およびSeLUにおける係数を導出するための深さ認識方法を含む,著者らの解析に基づくいくつかの既存の方法を改良した。さらに,二次モーメント正規化と名付けた新しい正規化技術を提案し,それは精度損失のないバッチ正規化よりも理論的に30%速い。最後に,著者らの結論と方法は,CIFAR10とImageNet上の多重モデルに関する広範な実験によって証明される。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , その他のオペレーションズリサーチの手法 , 人工知能

, , , , , ,

前のページに戻る