31x31へのカーネルのスケールアップ:CNNにおける大きなカーネル設計の再検討【JST・京大機械翻訳】

Ding Xiaohan; Zhang Xiangyu; Zhou Yizhuang; Han Jungong; Ding Guiguang; Sun Jian

プレプリント

J-GLOBAL ID：202202207109222419 整理番号：22P0303367

31x31へのカーネルのスケールアップ:CNNにおける大きなカーネル設計の再検討【JST・京大機械翻訳】

Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月13日プレプリントサーバーでの情報更新日： 2022年04月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代の畳み込みニューラルネットワーク(CNN)における大きなカーネル設計を再検討した。本論文では,ビジョン変圧器(ViT)の最近の進歩に触発されて,小カーネルのスタックの代わりに少数の大きな畳み込みカーネルを用いることが,より強力なパラダイムになることを実証した。効率的な高性能大カーネルCNNを設計するために,再パラメータ化した大きな深さ方向畳み込みを適用する5つのガイドラインを提案した。ガイドラインに従って,カーネルサイズが31x31と大きい純粋なCNNアーキテクチャであるRepLKNetを提案した。RepLKNetはCNNsとVits間の性能ギャップを非常に近く,例えば,画像Net上でSwin変換器よりも,また,低い待ち時間で,少数の典型的な下流タスクで,同等のまたは優れた結果を達成した。また,RepLKNetは,大きなデータおよび大きなモデルに対する良好なスケーラビリティを示し,画像Net上で87.8%のトップ-1精度およびADE20K上で56.0%mIoUを得て,それは,類似のモデルサイズを有する最先端技術の間で非常に競合する。さらに,本研究では,小カーネルCNNとは対照的に,大きなカーネルCNNは,テクスチャバイアスよりも,はるかに大きな有効受容野およびより高い形状バイアスを有することを明らかにした。https://github.com/megvii research/RepLKNetのコードとモデル。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , オペレーティングシステム

, , ,

前のページに戻る