統一視覚変圧器圧縮【JST・京大機械翻訳】

Yu Shixing; Chen Tianlong; Shen Jiayi; Yuan Huan; Tan Jianchao; Yang Sen; Liu Ji; Wang Zhangyang

プレプリント

J-GLOBAL ID：202202217370587438 整理番号：22P0304893

統一視覚変圧器圧縮【JST・京大機械翻訳】

Unified Visual Transformer Compression

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ビジョン変圧器(ViT)は最近人気を得ている。畳み込みのようなカスタマイズされた画像オペレータなしでも,ViTsは,大規模データ上で適切に訓練されたとき,競合性能を生み出すことができる。しかし,Vitsの計算オーバヘッドは,積層マルチヘッド自己注意モジュールとelseにより,禁止されている。圧縮畳込みニューラルネットワークにおける広大な文献と一般的成功と比較して,Vision変換機圧縮の研究は,ちょうど現れて,既存の研究は圧縮の1つまたは2つの側面に焦点を合わせた。本論文では,3つの効果的技法:枝刈り,層スキッピング,および知識蒸留を継目上組み立てる統一ViT圧縮フレームワークを提案した。蒸留損失の下で,共同学習モデル重み,層別剪定比/マスク,およびスキップ構成を目標とする予算制約,エンドツーエンド最適化フレームワークを定式化した。次に,最適化問題を,一次二重アルゴリズムを用いて解いた。実験は,ImageNetデータセット上のDeiTおよびT2T-ViTバックボーンのようないくつかのViT変異体を用いて行い,著者らのアプローチは,最近の競争者よりも一貫して優れていた。例えば,DeiT-Tinyは,元のFLOPの50%まで,ほとんど精度を失うことなく,トリミングできる。コードはオンラインで利用できる。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般 , 人工知能

前のページに戻る