抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
大規模交差言語事前訓練言語モデル(xPLM)は,高資源言語から低資源言語への知識を転送することによって,交差言語機械読解(xMRC)のような交差言語シーケンスラベリングタスク(xSL)において有効性を示した。大きい成功にもかかわらず,事前訓練と微調整段階の間に訓練目的ギャップがあるという経験的観察を描いた:例えばマスク言語モデリングの目的は,マスクトークンの局所的理解を必要とし,スパン抽出目的は,入力通過/パラグラフと質問の大域的理解と推論を必要とし,予訓練とxMRCの間の不一致に導く。本論文では,まず,自己監督された方法で目的ギャップを除去するため,クロスリンク言語情報科学(CLISM)と名付けたxSLに対して調整した事前訓練タスクを設計した。第2に,事前訓練中の教師なし交差言語インスタンスワイズトレーニング信号による入力並列シーケンスの表現間の一貫性を奨励するために,コントラスト学習を利用するContrAstic-Consistance正則化(CACR)を提示した。これらの手段によって,著者らの方法は,プレトレイン-微調整の間のギャップを埋めるだけでなく,異なる言語の間のアラインメントをよりよく捕えるために,PLMを強化した。大規模な実験は,著者らの方法が,限られた予訓練データを有する多重xSLベンチマークに関して,明らかに優れた結果を達成することを証明した。また,本手法は,ほんの数百の訓練例しか入手できない,数ショットデータ設定における大きなマージンによって,以前の最先端技法を凌駕する。【JST・京大機械翻訳】