多言語BERTにおけるユニバーサル文法関係の発見【JST・京大機械翻訳】

Chi Ethan A.; Hewitt John; Manning Christopher D.

プレプリント

J-GLOBAL ID：202202202750987792 整理番号：22P0145160

多言語BERTにおけるユニバーサル文法関係の発見【JST・京大機械翻訳】

Finding Universal Grammatical Relations in Multilingual BERT

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年05月09日プレプリントサーバーでの情報更新日： 2020年05月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近の研究では,変圧器ベース多言語マスク言語モデルである多言語BERT(mBERT)がゼロショット交差言語転送が可能であり,その表現の幾つかの側面が交差言語的に共有されていることを示した。この重複をより良く理解するために,ニューラルネットワークの内部表現における構文ツリーを多言語設定に発見する最近の研究を拡張した。mBERT表現の部分空間は英語以外の言語における構文木距離を回復させ,これらの部分空間は言語間でほぼ共有されることを示した。これらの結果によって動機づけられて,著者らは,証拠mBERTが構文依存ラベルの表現を学習する教師なし解析方法を提示し,それは,普遍的依存性分類学と大きく一致するクラスタの形式において,意味的依存性ラベルの表現を学習する。この証拠は,明示的な監視なしでも,多言語マスク言語モデルが,ある言語的普遍性を学習することを示唆する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識

, ,

前のページに戻る