文献

J-GLOBAL ID：202202270810338526   整理番号：22A0841478

対話型変圧器とソフトマッピングに基づくマルチモーダル感情解析【JST・京大機械翻訳】

Multimodal Sentiment Analysis Based on Interactive Transformer and Soft Mapping

著者 (9件)： Li Zuhe (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Li Zuhe (Henan Key Laboratory of Food Safety Data Intelligence, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Guo Qingbing (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Feng Chengyao (Brandeis High School, San Antonio, TX 78249, USA) ,  Deng Lujuan (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Zhang Qiuwen (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Zhang Jianwei (Henan Key Laboratory of Food Safety Data Intelligence, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Wang Fengqin (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China) ,  Sun Qian (School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China)
資料名： Wireless Communications & Mobile Computing  (Wireless Communications & Mobile Computing)
巻： 2022  ページ： Null  発行年： 2022年 
JST資料番号： W1338A  ISSN： 1530-8669  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： マルチモーダル感情解析は,融合技術により,マルチメディアデータから人々の意見や態度を収穫することを目的とする。しかしながら,既存の融合法は,マルチモーダルデータ間の相関を利用することができないが,干渉因子を導入する。本論文では,マルチモーダル感情解析のための対話型変換器とソフトマッピングベース法を提案した。インタラクティブ変換層において,マルチヘッド注意モジュール対から成る対話型マルチヘッド誘導-アテンション構造を最初に用いて,マルチモーダル間のマッピング関係を発見した。次に,得られた結果をフィードフォワードニューラルネットワークに供給した。最後に,積層ソフト注意モジュールから成るソフトマッピング層を,多モード情報の融合を実現するために,より高い次元に結果を写像するために使用する。提案モデルは,情報の多重モード部分間の関係を十分に考慮することができ,マルチモーダル感情解析におけるデータ相互作用の問題に新しい解決策を提供する。著者らのモデルをベンチマークデータセットCMU-MOSEIとMELDで評価し,精度を基準と比較して5.57%改善した。Copyright 2022 Zuhe Li et al. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 干渉 ,  相互作用 ,  変圧器 ,  変換器 ,  情報 ,  *多モード
準シソーラス用語： 対話型 ,  フィードフォワードニューラルネットワーク ,  マルチヘッド , 【Automatic Indexing@JST】

分類 (2件)： 通信網  (ND07030A) ,  無線通信一般  (ND08010L)

引用文献 (26件)：

• S. Poria, E. Cambria, R. Bajpai, A. Hussain, "A review of affective computing: from unimodal analysis to multimodal fusion," Information Fusion, vol. 37, pp. 98-125, 2017.
• Y. Zhang, L. Rong, D. Song, Z. Peng, "A survey on multimodal sentiment analysis," Pattern Recognition and Artificial Intelligence, vol. 33, no. 5, pp. 426-438, 2020.
• S. Verma, C. Wang, L. Zhu, W. Liu, "DeepCU: integrating both common and unique latent information for multimodal sentiment analysis," Proceedings of the 28th International Joint Conference on Artificial Intelligence, pp. 3627-3634, Macao, China, August 2019.
• P. K. Atrey, M. A. Hossain, A. El Saddik, M. S. Kankanhalli, "Multimodal fusion for multimedia analysis: a survey," Multimedia Systems, vol. 16, no. 6, pp. 345-379, 2010.
• A. Zadeh, M. Chen, S. Poria, E. Cambria, L. P. Morency, "Tensor fusion network for multimodal sentiment analysis," Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1103-1114, Copenhagen, Denmark, January 2017.

タイトルに関連する用語 (7件)： 対話型 ,  変圧器 ,  ソフト ,  マッピング ,  マルチモーダル ,  感情 ,  解析