深層ニューラルネットワークの拡張臨界領域【JST・京大機械翻訳】

Qu Cheng Kevin; Wardak Asem; Gong Pulin

プレプリント

J-GLOBAL ID：202202202276362522 整理番号：22P0309617

深層ニューラルネットワークの拡張臨界領域【JST・京大機械翻訳】

Extended critical regimes of deep neural networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2022年03月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワーク(DNN)は多くの実世界問題に適用されてきたが,それらの動的および計算的原理の完全な理解はまだ不足している。DNNを解析するための従来の理論的フレームワークは,Gauss統計に従う結合重みを持つランダムネットワークをしばしば仮定する。しかし,非Gauss,重尾結合はDNNにおけるユビキタス現象である。ここでは,重尾ランダム行列と非平衡統計物理学の理論を一緒に織り込むことにより,重尾重みが微調整パラメータなしに拡張臨界領域の出現を可能にすることを予測するDNNに対する新しいタイプの平均場理論を開発した。この拡張臨界領域では,DNNは層にわたって豊富で複雑な伝搬動力学を示す。さらに,拡張臨界性は,DNNを,内部神経表現の拡大だけでなく,内部神経表現の膨張,およびトレーニングプロセスのスピードアップ,および,効率的なニューラルアーキテクチャの設計のための理論的指針を提供するという,大きな計算利点を有することを,さらに明らかにした。【JST・京大機械翻訳】

, , , ,
, , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

, ,

前のページに戻る