文脈語表現の多言語アラインメント【JST・京大機械翻訳】

Cao Steven; Kitaev Nikita; Klein Dan

プレプリント

J-GLOBAL ID：202202201882527808 整理番号：22P0109745

文脈語表現の多言語アラインメント【JST・京大機械翻訳】

Multilingual Alignment of Contextual Word Representations

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年02月09日プレプリントサーバーでの情報更新日： 2020年02月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

文脈埋め込みアラインメントを評価し強化するための手順を提案し,それらが多言語BERTの解析と改善に有用であることを示した。特に,提案したアラインメント手順の後,BERTは,ベースモデルと比較して,XNLI上で著しく改善されたゼロショット性能を示し,ブルガリアとギリシャに対する擬似完全監督された翻訳-トレインモデルを著しくマッチングした。さらに,アラインメントの程度を測定するために,単語検索の文脈バージョンを導入し,それが下流ゼロショット移動と良く相関することを示した。この単語検索タスクを用いて,BERTも解析し,それは系統的欠陥,例えば,アラインメント手順によって修正される,異なるスクリプトで書かれたオープンクラス部分音声と単語ペアのためのより悪いアラインメントを示すことを見出した。これらの結果は,大規模多言語事前訓練モデルを理解するための有用な概念としての文脈的アラインメントを支持する。【JST・京大機械翻訳】

, , , , , , , ,
, , 【Automatic Indexing@JST】

自然語処理 , パターン認識 , 人工知能

, ,

前のページに戻る