多言語適応微調整によるアフリカ語への予訓練言語モデルの適応【JST・京大機械翻訳】

Alabi Jesujoba O.; Adelani David Ifeoluwa; Mosbach Marius; Klakow Dietrich

プレプリント

J-GLOBAL ID：202202211048802686 整理番号：22P0331775

多言語適応微調整によるアフリカ語への予訓練言語モデルの適応【JST・京大機械翻訳】

Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月13日プレプリントサーバーでの情報更新日： 2022年10月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多言語事前訓練言語モデル(PLM)は,高資源と低資源言語の両方に対するいくつかの下流タスクに対して印象的な性能を示した。しかし,事前訓練,特にアフリカ言語において,言語の大まかな性能低下がある。事前訓練目的を用いて言語のモノリンガルテキスト上の多言語PLMを微調整する新しい言語適応微調整(LAFT)に順応する最も効果的なアプローチの1つ。しかしながら,ターゲット言語への適応は,単一言語のために特殊化されたため,大きなディスク空間を個別に採用し,得られたモデルの交差言語転送能力を制限する。本論文では,交差言語転送学習を奨励するために,アフリカ大陸で広く話し出される,多言語適応微調整17の最資源アフリカ言語と3つの他の高資源言語を実行する。さらに,多言語PLMを特殊化するために,MAFTの前に非African書込みスクリプトに対応する埋込み層から語彙トークンを除去し,その結果,約50%のモデルサイズを縮小した。2つの多言語PLM(AfriBERTaとXLM-R)と3つのNLPタスク(NER,ニューストピック分類,および感情分類)に関する著者らの評価は,著者らのアプローチが,かなり少ないディスク空間を必要とする間,個々の言語にLAFTを適用するのに競合することを示した。さらに,著者らの適応PLMは,パラメータ効率の良い微調整法のゼロショット交差舌移動能力も改善することを示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識

, , , , ,

前のページに戻る