DICT-MLM:バイリンガル辞書を用いた改良型多言語プレトレーニング【JST・京大機械翻訳】

Chaudhary Aditi; Raman Karthik; Srinivasan Krishna; Chen Jiecao

プレプリント

J-GLOBAL ID：202202210381278572 整理番号：22P0203486

DICT-MLM:バイリンガル辞書を用いた改良型多言語プレトレーニング【JST・京大機械翻訳】

DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年10月23日プレプリントサーバーでの情報更新日： 2020年10月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

mBERTのような事前訓練多言語モデルは,いくつかの自然言語処理(NLP)タスク,特にゼロショット交差言語設定において大きな利得を示した。これらの事前訓練モデルの全てが,鍵言語学習目的としてマスク言語モデリング(MLM)目的に依存する。これらのアプローチの背後にある原理は,周囲のテキストの助けを借りてマスクされた単語を予測することが,強力な文脈化された表現を学習するのを助けることである。MLMにより可能になる強い表現学習能力にもかかわらず,多言語表現学習に対するMLMの固有限界を示した。特に,言語特異的トークンを予測するモデルを必要とすることにより,MLMの目的は言語診断表現を学習し,多言語予訓練の重要な目標である。したがって,より良い交差言語表現学習を奨励するために,DICT-MLM法を提案した。DICT-MLMは,元のマスクされた単語だけでなく,その交差言語の同義語を潜在的に予測することができるように,このモデルを動機づけることで機能する。30+言語にわたる複数の下流タスクに関する著者らの経験的解析は,提案したアプローチの有効性とより良い多言語表現を学習するその能力を実証した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識 , ニューロコンピュータ

, , ,

前のページに戻る