抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
現代の畳み込みニューラルネットワーク(CNN)における大きなカーネル設計を再検討した。本論文では,ビジョン変圧器(ViT)の最近の進歩に触発されて,小カーネルのスタックの代わりに少数の大きな畳み込みカーネルを用いることが,より強力なパラダイムになることを実証した。効率的な高性能大カーネルCNNを設計するために,再パラメータ化した大きな深さ方向畳み込みを適用する5つのガイドラインを提案した。ガイドラインに従って,カーネルサイズが31x31と大きい純粋なCNNアーキテクチャであるRepLKNetを提案した。RepLKNetはCNNsとVits間の性能ギャップを非常に近く,例えば,画像Net上でSwin変換器よりも,また,低い待ち時間で,少数の典型的な下流タスクで,同等のまたは優れた結果を達成した。また,RepLKNetは,大きなデータおよび大きなモデルに対する良好なスケーラビリティを示し,画像Net上で87.8%のトップ-1精度およびADE20K上で56.0%mIoUを得て,それは,類似のモデルサイズを有する最先端技術の間で非常に競合する。さらに,本研究では,小カーネルCNNとは対照的に,大きなカーネルCNNは,テクスチャバイアスよりも,はるかに大きな有効受容野およびより高い形状バイアスを有することを明らかにした。https://github.com/megvii research/RepLKNetのコードとモデル。【JST・京大機械翻訳】