交差反復バッチ正規化【JST・京大機械翻訳】

Yao Zhuliang; Cao Yue; Zheng Shuxin; Huang Gao; Lin Stephen

プレプリント

J-GLOBAL ID：202202221065116082 整理番号：21P0024400

交差反復バッチ正規化【JST・京大機械翻訳】

Cross-Iteration Batch Normalization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年02月13日プレプリントサーバーでの情報更新日： 2021年03月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

バッチ正規化のよく知られた問題は,小さなミニバッチサイズの場合,その有意な低減効果である。ミニバッチが少数の例を含むとき,正規化が定義される統計は,訓練反復の間,それから確実に推定できない。この問題に取り組むために,著者らは,複数の最近の反復からの用例を共同利用し,推定品質を強化するため,交差-交換バッチ正規化(CBN)を提示した。多重反復にわたる計算統計の課題は,ネットワーク重みの変化により,異なる反復からのネットワーク活性化が互いに比較できないことである。したがって,Taylor多項式に基づく提案技法によるネットワーク重量変化を補償するため,統計を精確に推定でき,バッチ正規化を効果的に適用することができる。小さなミニバッチサイズによる物体検出と画像分類において,CBNは,元のバッチ正規化と,提案した補償技術のない以前の反復に関する統計の直接計算より優れていることが分かった。コードはhttps://github.com/Howal/Cross iterationBatchNormで利用可能である。【JST・京大機械翻訳】

, , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 脳・神経系モデル , 人工知能 , 図形・画像処理一般

, , ,

前のページに戻る