文献

J-GLOBAL ID：202202260027017607   整理番号：22A0977859

文書レベル感情分類のための事前訓練言語モデルへのユーザアイデンティティの推測【JST・京大機械翻訳】

Injecting User Identity Into Pretrained Language Models for Document-Level Sentiment Classification

著者 (3件)： Cao Xinlei (School of Computer Science and Technology, East China Normal University, Shanghai, China) ,  Yu Jinyang (Center for ADR Monitoring of Guangdong, Guangzhou, China) ,  Zhuang Yan (National Engineering Laboratory for Medical Big Data Application Technology, Chinese PLA General Hospital, Beijing, China)
資料名： IEEE Access  (IEEE Access)
巻： 10  ページ： 30157-30167  発行年： 2022年 
JST資料番号： W2422A  ISSN： 2169-3536  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文は,主に文書レベル感情分類のための事前訓練言語モデルとユーザアイデンティティ情報の組合せを研究した。近年,BERTのような事前訓練言語モデル(PLM)は,文書レベル感情分類を含む多くのNLPアプリケーションに関する最新の結果を達成した。一方,作業の収集は,より良いテキストモデリングのためのユーザアイデンティティのような付加的情報を導入する。しかし,それらのほとんどは,従来のモデルへのユーザアイデンティティを注入し,一方,事前訓練言語モデルとユーザアイデンティティの組合せを,より良い性能のために研究するために,ほとんど研究がなされていない。この問題に取り組むために,本論文では,ユーザアイデンティティとPLMを統一し,ユーザ強化プレ訓練言語モデル(U-PLM)を定式化することを提案する。特に,2つの単純だが効果的な試み,すなわち埋込みベースと注意ベースの個人化,を事前訓練された言語モデルの異なる部分にユーザアイデンティティを注入し,異なる視点から個人化を提供する。2つのバックボーンPLMを有する3つのデータセットにおける実験は,著者らの提案方法が,精度に関して3%,2.8%,および2.2%の絶対改善で,最良の最先端のベースライン法より優れていることを示した。さらに,この方法はプラグインモジュールとユーザアイデンティティを符号化し,ほとんどの自動符号化事前訓練言語モデルと完全に互換性がある。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 互換性 ,  精度 ,  改良 ,  モデリング ,  応用プログラム ,  *利用者 ,  基準線 ,  定式化 ,  *言語モデル
準シソーラス用語： *アイデンティティ ,  プラグイン ,  感情分類 , 【Automatic Indexing@JST】

分類 (2件)： 自然語処理  (JE06000L) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (6件)： 文書 ,  感情分類 ,  訓練 ,  言語モデル ,  アイデンティティ ,  推測