英語Devの使用:文脈埋込みのゼロショットクロス言語評価について【JST・京大機械翻訳】

Keung Phillip; Lu Yichao; Salazar Julian; Bhardwaj Vikas

プレプリント

J-GLOBAL ID：202202203453679244 整理番号：22P0141557

英語Devの使用:文脈埋込みのゼロショットクロス言語評価について【JST・京大機械翻訳】

Don't Use English Dev: On the Zero-Shot Cross-Lingual Evaluation of Contextual Embeddings

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年04月30日プレプリントサーバーでの情報更新日： 2020年10月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マルチ言語文脈埋込みは,ゼロショット交差言語転送学習において最先端の性能を実証し,そこでは多言語BERTが1つのソース言語上で微調整され,異なるターゲット言語上で評価された。しかし,mBERTゼロショット精度に対する公表結果は,4つの論文にわたってMLDoc分類タスクに関して17ポイントと大きく変化した。ゼロショット設定におけるモデル選択のための英語デv精度を用いる標準実践は,MLDocとXNLIタスクに関する再現可能な結果を得ることを困難にする。英語のdev精度は,しばしば,ターゲット言語精度による非相関(または,反相関)であり,そして,ゼロショット性能は,同じ微調整ランと,異なる微調整ランの間で,異なる点で大いに変化した。これらの再現性問題は,異なる事前訓練埋込み(例えば,XLM-RによるMLQA)による他のタスクに対しても存在する。ゼロショット結果とともにオラクルスコアの提供を推薦する:英語データを使用するが,ターゲットデvセットでチェックポイントを選択する。この上限の報告は,任意に悪いチェックポイントを避けることにより,より一貫した結果をもたらす。【JST・京大機械翻訳】

, , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理

, , , ,

前のページに戻る