模倣ノルム:重み平均と最終BN層はバッチ正規化の動力学を模倣する【JST・京大機械翻訳】

Fei Wen; Dai Wenrui; Li Chenglin; Zou Junni; Xiong Hongkai

プレプリント

J-GLOBAL ID：202202208119964827 整理番号：22P0201576

模倣ノルム:重み平均と最終BN層はバッチ正規化の動力学を模倣する【JST・京大機械翻訳】

MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年10月19日プレプリントサーバーでの情報更新日： 2023年09月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

実質的な実験は,収束と一般化の恩恵において,バッチ正規化(BN)層の成功を検証した。しかし,BNは余分なメモリとフロートポイント計算を必要とする。さらに,BNはバッチ統計に依存するので,マイクロバッチで不正確である。本論文では,BN層の2つの基本的影響,すなわち,データ相関と適応学習速度を維持しながら,BN正則化を単純化することにより,これらの問題に取り組んだ。ネットワーク訓練における収束と効率を改善するために,MimicNormと名付けた新しい正規化法を提案した。MimicNormは,修正重み平均操作(重みパラメータテンソルからの減算平均値)と損失関数(ラストBN層)前の1つのBN層を含む2つの光操作のみから成る。ニューラル接線カーネル(NTK)理論を利用して,著者らの重み平均操作ホワイトン活性化と,BN層のようなカオス領域へのネットワークを通過させ,その結果,収束の増大をもたらすことを証明した。最後のBN層は自動調整学習速度を提供し,また精度を改善する。実験結果は,MimicNormが,約20%のメモリ消費の減少で,ShuffNetのようなResNetと軽量ネットワークを含む,様々なネットワーク構造に対して類似の精度を達成することを示した。このコードはhttps://github.com/Kid key/MimicNormで公開されている。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , パターン認識

, , , , , ,

前のページに戻る