異種グラフ変圧器による構文情報質問応答【JST・京大機械翻訳】

Zhu Fangyi; Tan Lok You; Ng See-Kiong; Bressan Stephane

プレプリント

J-GLOBAL ID：202202219653780954 整理番号：22P0335866

異種グラフ変圧器による構文情報質問応答【JST・京大機械翻訳】

Syntax-informed Question Answering with Heterogeneous Graph Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月01日プレプリントサーバーでの情報更新日： 2022年05月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

大規模ニューラル言語モデルは,質問応答および他の自然言語および情報処理タスクに対する最先端の性能に着実に貢献している。これらのモデルは訓練に高価である。そのような事前訓練モデルが,スクラッチから再訓練を必要とせずに,明示的言語情報の追加から利益を得ることができるかどうかを評価する。異種グラフ変圧器で符号化された記号知識を持つ事前訓練変圧器ベースニューラル言語モデルを拡張し,微調整する言語情報質問回答手法を提案した。トークンと仮想頂点を接続する依存性と構成図形構造の形式における構文情報の追加によるアプローチを説明した。ベースラインとしてのBERTによる比較経験的性能評価とStanford Quession Answering Datasetは,提案した方法の競争力を実証した。結論として,予備的実験のさらなる結果の見地から,このアプローチが意味論と実用的を含むさらなる言語情報に拡張可能であることを論じた。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理

, , ,

前のページに戻る