プレプリント
J-GLOBAL ID:202202220441724696   整理番号:22P0308334

ViT-backed連続学習のためのMeta-注意【JST・京大機械翻訳】

Meta-attention for ViT-backed Continual Learning
著者 (4件):
資料名:
発行年: 2022年03月22日  プレプリントサーバーでの情報更新日: 2022年03月22日
JST資料番号: O7000B  資料種別: プレプリント
記事区分: プレプリント  発行国: アメリカ合衆国 (USA)  言語: 英語 (EN)
抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
継続的な学習は,絶えず到着するタスクを攻撃するその重要な役割のため,長年の研究題目である。現在まで,コンピュータビジョンにおける継続的な学習の研究は,主に畳込みニューラルネットワーク(CNN)に限定される。しかしながら,最近,新たに出現した視覚変圧器(ViT)がコンピュータビジョンの分野を徐々に支配する傾向があり,それは,Vitsに直接適用されるならば,それらが厳しい性能劣化を被るので,CNNベースの連続的学習を遅れる。本論文では,ViTの最近の進歩において,より高い性能の乗りに努めるために,ViT-backed連続学習を研究した。CNNにおけるマスクベースの連続学習法に触発されて,マスクが事前訓練されたViTを新しいタスクに順応させるためにタスクごとに学習されるので,筆者らは,すでに学習されたタスクに対する性能を犠牲にすることなく,事前訓練されたViTを新しいタスクに順応させるために,MEta-ATtention(MEAT),すなわち自己注意への注意を提案した。すべてのパラメータが対応するマスクと関連するPiggybackのような以前のマスクベースの方法とは異なり,MEATはVitsの特性を利用して,そのパラメータの一部をマスクするだけであった。それは,MEATを,より少ないオーバヘッドとより高い精度で,より効率的で,効果的である。広範な実験は,MEATが,精度において4.0~6.0%の絶対ブーストで,最先端のCNN対応物に対して顕著な優位性を示すことを実証した。著者らのコードはhttps://github.com/zju vipa/MEAT TILで放出された。【JST・京大機械翻訳】
シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

準シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
, 【Automatic Indexing@JST】
分類 (1件):
分類
JSTが定めた文献の分類名称とコードです
人工知能 
タイトルに関連する用語 (2件):
タイトルに関連する用語
J-GLOBALで独自に切り出した文献タイトルの用語をもとにしたキーワードです

前のページに戻る