抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
継続的な学習は,絶えず到着するタスクを攻撃するその重要な役割のため,長年の研究題目である。現在まで,コンピュータビジョンにおける継続的な学習の研究は,主に畳込みニューラルネットワーク(CNN)に限定される。しかしながら,最近,新たに出現した視覚変圧器(ViT)がコンピュータビジョンの分野を徐々に支配する傾向があり,それは,Vitsに直接適用されるならば,それらが厳しい性能劣化を被るので,CNNベースの連続的学習を遅れる。本論文では,ViTの最近の進歩において,より高い性能の乗りに努めるために,ViT-backed連続学習を研究した。CNNにおけるマスクベースの連続学習法に触発されて,マスクが事前訓練されたViTを新しいタスクに順応させるためにタスクごとに学習されるので,筆者らは,すでに学習されたタスクに対する性能を犠牲にすることなく,事前訓練されたViTを新しいタスクに順応させるために,MEta-ATtention(MEAT),すなわち自己注意への注意を提案した。すべてのパラメータが対応するマスクと関連するPiggybackのような以前のマスクベースの方法とは異なり,MEATはVitsの特性を利用して,そのパラメータの一部をマスクするだけであった。それは,MEATを,より少ないオーバヘッドとより高い精度で,より効率的で,効果的である。広範な実験は,MEATが,精度において4.0~6.0%の絶対ブーストで,最先端のCNN対応物に対して顕著な優位性を示すことを実証した。著者らのコードはhttps://github.com/zju vipa/MEAT TILで放出された。【JST・京大機械翻訳】