依存性ツリー変換を通した多言語構文を意識した言語モデリング【JST・京大機械翻訳】

Kando Shunsuke; Noji Hiroshi; Miyao Yusuke

プレプリント

J-GLOBAL ID：202202207684777872 整理番号：22P0333932

依存性ツリー変換を通した多言語構文を意識した言語モデリング【JST・京大機械翻訳】

Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月18日プレプリントサーバーでの情報更新日： 2022年04月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

神経言語モデル(LM)への強い構文的バイアスを組み込むことは,長年の目標であるが,この領域における研究は,構成ツリーバンクが容易に利用できる英語テキストのモデリングにしばしば焦点を合わせている。構成ツリーベースLMを多言語設定に拡張し,依存性ツリーバンクはより一般的であり,依存性変換法を介して可能である。しかし,このモデルを学習するのに木形式が最良であり,言語がどれかという疑問を提起する。ここでは,様々な変換法を用いて再帰ニューラルネットワーク文法(RNNG)を訓練し,多言語設定で経験的に評価することにより,この問題を検討した。7種類のシンタクチックテストを通して,9つの変換方法と5つの言語を通してLM性能に及ぼす影響を調査した。平均して,著者らの最良モデルの性能は,すべての言語を通して最悪選択に対して精度の19%の増加を表す。著者らの最良モデルは,逐次/過パラメータ化LMに対する利点を示し,多言語設定における構文注入のプラス効果を示唆した。著者らの実験は,正しいツリー形式の選択の重要性を強調し,インフォームド決定を行うための洞察を提供する。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理

, , , ,

前のページに戻る