文献

J-GLOBAL ID：202202290911433237   整理番号：22A0631080

無拘束注意は,アスペクトベース感情解析における関連部品により良い注意機構に焦点を置く【JST・京大機械翻訳】

Unrestricted Attention May Not Be All You Need-Masked Attention Mechanism Focuses Better on Relevant Parts in Aspect-Based Sentiment Analysis

著者 (3件)： Feng Ao (School of Computer Science, Chengdu University of Information Technology, Chengdu, China) ,  Zhang Xuelei (School of Computer Science, Chengdu University of Information Technology, Chengdu, China) ,  Song Xinyu (School of Computer Science, Chengdu University of Information Technology, Chengdu, China)
資料名： IEEE Access  (IEEE Access)
巻： 10  ページ： 8518-8528  発行年： 2022年 
JST資料番号： W2422A  ISSN： 2169-3536  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： アスペクトベースの感情分析(ABSA)は,自然言語処理における非常に挑戦的なタスクの1つである。それはユーザ生成レビューにおける細粒感情情報を抽出し,自由テキストにおける事前定義アスペクトカテゴリーまたは関連エンティティに対する極性の予測を目的とする。従来の深層学習手法は,通常,大規模事前訓練言語モデルおよび注意機構に依存し,それは,完全な計算注意重みを適用し,注意割当てに制限を置かなかった。著者らは,元の注意機構がABSAの理想的な構成ではなく,ほとんどの時間に関して,項の小さい部分だけが,アスペクトまたはエンティティの感情極性に強く関連すると主張する。本論文では,マスクを生成する2つの異なるアプローチで,ABSAに対してカスタマイズされたマスクされた注意機構を提案した。第1の方法は,すべての重みの最大値によって決まる注意重み閾値をセットして,閾値を超える注意点だけを保つ。第2は,最高重みでトップ単語を選択する。両者は,焦点の側面にそれほど関連しないと仮定したより低いスコア部分を除去する。無関係に主張された入力の一部を無視することにより,入力雑音の大きな割合が除去され,下流モデルをより集中し,計算コストを低減する。マルチアスペクトマルチメント(MAMS)とSemEval-2014データセットに関する実験は,マスクされた注意機構の価値を示す,完全な注意で最先端の事前訓練言語モデルに対して顕著な改善を示した。最近の研究では,変圧器における単純な自己注意がランク1行列に急速に退化し,マスクされた注意が,その傾向のためのもう一つの治療法であるかもしれないことを示した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 極性 ,  雑音 ,  変圧器 ,  データ ,  マスク ,  自然言語処理 ,  モデル ,  *単語 ,  機械学習 ,  カスタム化 ,  言語モデル
準シソーラス用語： 計算コスト ,  エンティティ ,  感情分析 ,  深層学習 , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (5件)： 拘束 ,  注意 ,  感情 ,  解析 ,  焦点