抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
多言語BERT(mBERT)は高品質多言語表現をもたらし,効果的なゼロショット転送を可能にすることを示した。これは,mBERTが訓練中にいかなる交差言語信号も使用しないという驚くべきものである。最近の文献はこの現象を研究してきたが,多言語性の理由はまだ幾分不明瞭である。BERTのアーキテクチャ特性を同定し,BERTが多言語になるために必要な言語の言語特性を同定することを目的とした。速い実験を可能にするため,合成データと自然データのミックスで訓練された小さなBERTモデルによる効率的なセットアップを提案した。全体として,多言語性に影響する4つのアーキテクチャと2つの言語要素を同定した。この洞察に基づいて,VecMap,すなわち教師なし埋込みアラインメントを用いてマスキング戦略を修正する多言語予訓練装置を用いた。3つの言語によるXNLIに関する実験は,著者らの発見が著者らの小さなセットアップから大規模な設定まで移転することを示した。【JST・京大機械翻訳】