双方向クロスアテンション変圧器によるドメイン適応【JST・京大機械翻訳】

Wang Xiyu; Guo Pengxin; Zhang Yu

プレプリント

J-GLOBAL ID：202202200980165853 整理番号：22P0275047

双方向クロスアテンション変圧器によるドメイン適応【JST・京大機械翻訳】

Domain Adaptation via Bidirectional Cross-Attention Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月15日プレプリントサーバーでの情報更新日： 2022年10月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ドメイン適応(DA)は,ラベル無しデータのみを有するターゲットドメインに,十分なラベル付きデータを持つソースドメインから学習された知識を活用することを目的とする。DAに関するほとんどの既存の研究は,畳み込みベースのニューラルネットワークに基づくドメインギャップを最小化することにより,両ドメインに対するドメイン不変特徴表現の学習に寄与する。最近,ビジョン変圧器は複数のビジョンタスクにおける性能を著しく改善した。本論文では,視覚変圧器の上に,その性能を改善する目的で,DAのための双方向交差-拡張変換器(BCAT)を提案した。提案したBCATでは,注意機構は,ドメイン不一致を狭めるために,暗黙源とターゲット混合特徴表現を抽出することができる。具体的には,BCATにおいて,ドメイン不変特徴表現を学習するために双方向交差アテンションメカニズムを有する重み共有四重分岐変圧器を設計した。大規模な実験は,提案したBCATモデルが,畳み込みまたは変圧器に基づく既存の最先端のDA法よりも,4つのベンチマークデータセット上で優れた性能を達成することを実証した。【JST・京大機械翻訳】

, , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , パターン認識

, , ,

前のページに戻る