Linguistを火災しない:文法プロファイルは意味論的変化を検出する言語モデルを助ける【JST・京大機械翻訳】

Giulianelli Mario; Kutuzov Andrey; Pivovarova Lidia

プレプリント

J-GLOBAL ID：202202214640683117 整理番号：22P0330139

Linguistを火災しない:文法プロファイルは意味論的変化を検出する言語モデルを助ける【JST・京大機械翻訳】

Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月12日プレプリントサーバーでの情報更新日： 2022年04月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

単語利用の形態学的および構文的変化(例えば,文学プロファイルによる)は,単語の意味変化のよい予測子であることが示されている。本研究では,語彙意味変化検出のための一般的ツールである大きな事前訓練文脈化言語モデルが,そのような形態シンタクチック変化に敏感であるかどうかを検討した。この目的のために,まず,7つの言語をカバーする10データセット上の多言語神経言語モデル(XLM-R)に対する文法プロファイルの性能を比較し,次に,それらの相補性を評価するためにアンサンブルにおける2つのアプローチを結合した。結果は,XLM-Rとの文法プロファイルが,ほとんどのデータセットと言語に対する意味的変化検出性能を改善することを示した。これは,言語モデルが,文学プロファイルで明示的に表現される細粒の形態学的および構文的信号を完全にカバーしないことを示す。興味深い例外は,解析中の時間スパンがそれらの間の時間ギャップ(例えば,1年間隔の1年間隔)の時間ギャップよりはるかに長い試験セットである。形態学的変化は遅いので,このような場合,文学的プロフィールは検出されない。対照的に,語彙情報へのアクセスのおかげで,言語モデルは高速局所変化を検出することができる。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理

, , , ,

前のページに戻る