DeiT III:ViTの復活【JST・京大機械翻訳】

Touvron Hugo; Cord Matthieu; Jegou Herve

プレプリント

J-GLOBAL ID：202202218069018670 整理番号：22P0332406

DeiT III:ViTの復活【JST・京大機械翻訳】

DeiT III: Revenge of the ViT

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月14日プレプリントサーバーでの情報更新日： 2022年04月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ビジョン変換機(ViT)は,いくつかのコンピュータビジョンタスクを機能できる簡単なニューラルアーキテクチャである。それは,入力データまたは特定のタスクのいずれかの事前を組込むより最近のアーキテクチャとは対照的に,限られたビルトインアーキテクチャの先物を持っている。最近の研究では,ViTsが自己監督された予訓練,特にBeiTのようなBerTのような予訓練から恩恵を受けることを示した。本論文では,Vitsの教師つき訓練を再検討した。本手続きは,ResNet-50を訓練するために導入したレシピを構築,単純化する。それは,自己監督学習における実践に近い3つの増加だけによる新しい簡単なデータ認証手順を含む。画像分類(ImageNet-21kの事前訓練の有無によるImageNet-1k),転送学習,および意味セグメンテーションに関する評価は,著者らの手順がViTのための大きなマージン以前の完全教師つき訓練レシピによって性能が優れていることを示した。また,監視で訓練されたViTの性能は,より最近のアーキテクチャのそれに匹敵することを明らかにした。本結果は,ViTで実証された最近の自己監督アプローチのためのより良いベースラインとして役立つことができた。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , パターン認識

前のページに戻る