文献

J-GLOBAL ID：202102261226912568   整理番号：21A0149485

機械学習理解のための知識強化言語モデルに向けて【JST・京大機械翻訳】

Towards Knowledge Enhanced Language Model for Machine Reading Comprehension

著者 (4件)： Gong Peizhu (College of Information Engineering, Shanghai Maritime University, Shanghai, China) ,  Liu Jin (College of Information Engineering, Shanghai Maritime University, Shanghai, China) ,  Yang Yihe (College of Information Engineering, Shanghai Maritime University, Shanghai, China) ,  He Huihua (College of Education, Shanghai Normal University, Shanghai, China)
資料名： IEEE Access  (IEEE Access)
巻： 8  ページ： 224837-224851  発行年： 2020年 
JST資料番号： W2422A  ISSN： 2169-3536  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 機械学習理解は自然言語処理(NLP)における重要で挑戦的なタスクである。最近,知識グラフ(KG)埋込みは,下流タスクのためのサイド情報を効果的に提供できるので,大きな注目を集めている。しかし,ほとんどの以前の知識ベースモデルは,KGにおけるトリプルの構造的特性を考慮しておらず,直接蓄積のためのベクトル表現にそれらを変換し,知識抽出と知識融合の欠陥をもたらす。この問題を軽減するために,著者らは,KGの三重における固有空間関係をコード化するために,包み込みカプセルネットワークによる回答を予測するための基礎として文脈で知識グラフ表現を組み込んだ新しい深層モデルKCF-NETを提案する。KCF-NETでは,複雑な言語現象を捕捉するために,高性能文脈言語表現モデルであるBERTを微調整する。そのうえ,マルチヘッド注意機構に基づく新しい融合構造を設計して,知識とコンテキストの重さのバランスをとる。著者らのモデルの知識表現と読解能力を評価するために,WN11,FB13,SemEval-2010タスク8とSQuADのような複数の公開データセットに関する広範な実験を行った。実験結果は,KCF-NETが,BERT-Baseと比較して,無視できるパラメータ増加で,リンク予測とMRCタスクの両方で最先端の結果を達成し,そして,著しく縮小したモデルサイズを有する三重分類タスクにおいて,競合結果を得ることを示す。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ベクトル ,  *言語 ,  自然言語処理 ,  知識表現 ,  深層 ,  構造特性 ,  知識ベース ,  *機械学習 ,  *言語モデル
準シソーラス用語： 言語表現 ,  固有空間 ,  知識抽出 ,  サイド情報 , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： 機械学習 ,  理解 ,  知識 ,  強化 ,  言語モデル