オンライン畳込み再パラメータ化【JST・京大機械翻訳】

Hu Mu; Feng Junyi; Hua Jiashen; Lai Baisheng; Huang Jianqiang; Gong Xiaojin; Hua Xiansheng

プレプリント

J-GLOBAL ID：202202213779617660 整理番号：22P0324323

オンライン畳込み再パラメータ化【JST・京大機械翻訳】

Online Convolutional Re-parameterization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年04月02日プレプリントサーバーでの情報更新日： 2022年04月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

構造再パラメタリゼーションは,様々なコンピュータビジョンタスクにおいてますます注目を集めている。それは,いかなる推論時間コストも導入せずに,深いモデルの性能を改善することを目的とする。推論中に効率的ではあるが,そのようなモデルは,複雑な訓練時間ブロックに大きく依存し,高精度を達成し,大きな余分の訓練コストをもたらす。本論文では,複雑な訓練時間ブロックを単一畳込みにスクイージングすることにより,巨大な訓練オーバヘッドを低減することを目的として,2段階パイプラインであるオンライン畳込み再パラメタリゼーション(OREPA)を提案した。この目的を達成するために,オンラインブロックをより良く最適化するための線形スケーリング層を導入した。また,訓練コストの低減により,いくつかのより効果的な再パラメータ成分を探索した。最先端の再パラメータモデルと比較して,OREPAは訓練時間メモリコストを約70%節約でき,訓練速度を約2x加速できる。一方,OREPAを装備して,モデルは,+0.6%までImageNetに関する以前の方法より優れていた。また,物体検出と意味セグメンテーションに関する実験を行い,下流タスクに関して一貫した改善を示した。コードはhttps://github.com/JUGGHM/OREPA_CVPR2022で利用可能である。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, ,

前のページに戻る