言語モデルとクロス言語シーケンスラベリングの間のギャップの橋渡し【JST・京大機械翻訳】

Chen Nuo; Shou Linjun; Gong Ming; Pei Jian; Jiang Daxin

プレプリント

J-GLOBAL ID：202202217927642291 整理番号：22P0329632

言語モデルとクロス言語シーケンスラベリングの間のギャップの橋渡し【JST・京大機械翻訳】

Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年04月11日プレプリントサーバーでの情報更新日： 2022年04月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

大規模交差言語事前訓練言語モデル(xPLM)は,高資源言語から低資源言語への知識を転送することによって,交差言語機械読解(xMRC)のような交差言語シーケンスラベリングタスク(xSL)において有効性を示した。大きい成功にもかかわらず,事前訓練と微調整段階の間に訓練目的ギャップがあるという経験的観察を描いた:例えばマスク言語モデリングの目的は,マスクトークンの局所的理解を必要とし,スパン抽出目的は,入力通過/パラグラフと質問の大域的理解と推論を必要とし,予訓練とxMRCの間の不一致に導く。本論文では,まず,自己監督された方法で目的ギャップを除去するため,クロスリンク言語情報科学(CLISM)と名付けたxSLに対して調整した事前訓練タスクを設計した。第2に,事前訓練中の教師なし交差言語インスタンスワイズトレーニング信号による入力並列シーケンスの表現間の一貫性を奨励するために,コントラスト学習を利用するContrAstic-Consistance正則化(CACR)を提示した。これらの手段によって,著者らの方法は,プレトレイン-微調整の間のギャップを埋めるだけでなく,異なる言語の間のアラインメントをよりよく捕えるために,PLMを強化した。大規模な実験は,著者らの方法が,限られた予訓練データを有する多重xSLベンチマークに関して,明らかに優れた結果を達成することを証明した。また,本手法は,ほんの数百の訓練例しか入手できない,数ショットデータ設定における大きなマージンによって,以前の最先端技法を凌駕する。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , , ,

前のページに戻る