視覚変圧器について知っておくべき3つのもの【JST・京大機械翻訳】

Touvron Hugo; Cord Matthieu; El-Nouby Alaaeldin; Verbeek Jakob; Jegou Herve

プレプリント

J-GLOBAL ID：202202213649068257 整理番号：22P0306445

視覚変圧器について知っておくべき3つのもの【JST・京大機械翻訳】

Three things everyone should know about Vision Transformers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月18日プレプリントサーバーでの情報更新日： 2022年03月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語処理における最初の成功の後,変圧器アーキテクチャはコンピュータビジョンにおいて急速に牽引を得て,画像分類,検出,セグメンテーション,およびビデオ分析のようなタスクのための最新の結果を提供した。視覚変圧器のバリアントを実装する簡単で容易な3つの洞察を提供する。(1)通常処理される視覚変圧器の残留層は,精度に大きく影響することなく並列に効率的に処理できる。(2)注意層の重みの微調整は,ビジョン変圧器をより高い解像度および他の分類タスクに適応させるのに十分である。これは,計算を節約し,微調整時間におけるピークメモリ消費を低減し,タスク間の重みの大部分を共有できる。(3)MLPベースパッチ前処理層の添加はパッチマスキングに基づくBert様自己監督訓練を改善する。ImageNet-1kデータセットを用いてこれらの設計選択の影響を評価し,ImageNet-v2テストセットに関する著者らの発見を確認した。転送性能を6つのより小さなデータセットにわたって測定した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

前のページに戻る