文献

J-GLOBAL ID：202002282066213294   整理番号：20A2036343

事後正則化による言語制約によるロバストな読解理解【JST・京大機械翻訳】

Robust Reading Comprehension With Linguistic Constraints via Posterior Regularization

著者 (3件)： Zhou Mantong (Institute for Artificial Intelligence, State Key Lab of Intelligent Technology, and Systems, Beijing National Research Center for Information Science, and Technology, Department of Computer Science, and Technology, Tsinghua University, Beijing, China) ,  Huang Minlie (Institute for Artificial Intelligence, State Key Lab of Intelligent Technology, and Systems, Beijing National Research Center for Information Science, and Technology, Department of Computer Science, and Technology, Tsinghua University, Beijing, China) ,  Zhu Xiaoyan (Institute for Artificial Intelligence, State Key Lab of Intelligent Technology, and Systems, Beijing National Research Center for Information Science, and Technology, Department of Computer Science, and Technology, Tsinghua University, Beijing, China)
資料名： IEEE/ACM Transactions on Audio, Speech, and Language Processing  (IEEE/ACM Transactions on Audio, Speech, and Language Processing)
巻： 28  ページ： 2500-2510  発行年： 2020年 
JST資料番号： W0508B  ISSN： 2329-9290  CODEN： ITASFA  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 機械学習理解(RC)の大きな進歩にもかかわらず,既存のRCモデルは,まだ脆弱であり,異なるタイプの敵対例に対してロバストではない。神経モデルは,意味的異なる敵対例に対する誤った回答を過大に予測し,一方,意味的等価敵対例に対する誤った回答を過敏感に予測する。そのようなニューラルモデルのロバスト性を改善する既存の方法は,単に2つの問題の1つを緩和するが,他のものを無視する。本論文では,外部言語知識の支援と同時に,現在のRCモデルに存在する過信問題と過感度問題に取り組んだ。最初に,異なる言語制約(エンティティ制約,語彙制約,および述語制約)を課すために外部知識を組み込み,次に,事後正則化を通してRCモデルを正規化した。言語的制約は,意味的異なるおよび意味的等価敵対例の両方に対してより妥当な予測を誘導し,事後正則化はこれらの制約を組み込むための効果的なメカニズムを提供する。この方法は最先端のBERTモデルを含む任意の既存のニューラルRCモデルに適用できる。大規模な実験は,著者らの方法がベースRCモデルのロバスト性を著しく改良して,同時にこれらの2つの問題に対処するのにより良いことを示した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *言語 ,  過敏症 ,  語彙 ,  *正則化 ,  正規化 ,  *ロバスト性 ,  機械学習
準シソーラス用語： 神経回路網モデル ,  述語 ,  読解 ,  エンティティ , 【Automatic Indexing@JST】

分類 (3件)： 音声処理  (JE05000E) ,  自然語処理  (JE06000L) ,  音響信号処理  (BB03050C)

タイトルに関連する用語 (6件)： 正則化 ,  言語 ,  制約 ,  ロバスト ,  読解 ,  理解