DNNの学習動力学の調査における層ごとの条件付け解析【JST・京大機械翻訳】

Huang Lei; Qin Jie; Liu Li; Zhu Fan; Shao Ling

プレプリント

J-GLOBAL ID：202202205305045042 整理番号：22P0115810

DNNの学習動力学の調査における層ごとの条件付け解析【JST・京大機械翻訳】

Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年02月25日プレプリントサーバーでの情報更新日： 2020年07月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

条件解析は,その曲率行列のスペクトルを調査することによって,最適化目的の景観を明らかにした。これは線形モデルに対して理論的によく研究されている。学習動力学を調べるために,この解析を深層ニューラルネットワーク(DNN)に拡張した。この目的のために,各層に関する最適化景観を独立に探索する層別調整解析を提案した。このような解析は,実際にほぼ保持されている穏やかな仮定の下で理論的に支持される。この解析に基づいて,バッチ正規化(BN)は訓練を安定化できるが,時には局所最小値の誤った印象をもたらし,学習に有害な影響を及ぼすことを示した。さらに,BNが最適化問題の層ごとの調整を改善できることを実験的に観察した。最後に,非常に深い残留ネットワークの最後の線形層が不良条件挙動を示すことを見出した。著者らは,最後の線形層の前に1つのBN層を加えることによって,この問題を解決して,それは,オリジナルおよび事前活性化残差ネットワークに関して,改良性能を達成した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能

, , , , ,

前のページに戻る