文献

J-GLOBAL ID：202202282896006363   整理番号：22A1091000

自己注意機構とマルチスケール融合フレームワークを用いたマルチモーダル音声感情認識【JST・京大機械翻訳】

Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framework

著者 (5件)： Liu Yang (School of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China) ,  Sun Haoqin (School of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China) ,  Guan Wenbo (School of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China) ,  Xia Yuqi (School of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China) ,  Zhao Zhen (School of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China)
資料名： Speech Communication  (Speech Communication)
巻： 139  ページ： 1-9  発行年： 2022年 
JST資料番号： W1590A  ISSN： 0167-6393  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 音声からの感情を正確に認識することは,音声と感情の変動性のため,必要だが挑戦的なタスクである。本論文では,音声とテキスト情報を用いてマルチモーダルSERのために,自己注意機構とマルチスケール融合フレームワークを組み合わせた新しい方法を提案した。音声からコンテキスト感受性依存性を学習するために,自己注意双方向文脈LSTM(bc-LSTM)を提案した。特に,BLSTM層を適用して,長期依存性と発話レベル文脈情報を学習し,マルチヘッド自己注意層により,このモデルが感情に最も関連する特徴に焦点を当てた。静的および動的チャネルを利用する自己注意マルチチャネルCNN(MCNN)を,テキストから一般的および主題的特徴を学習するために適用した。最後に,特徴レベル融合と決定レベル融合を含むマルチスケール融合戦略を適用して,全体的性能を改善した。ベンチマークデータセットIEMOCAPに関する実験結果は,著者らの方法が,重みづけ精度(WA)と非加重精度(UA)に関して,最先端の戦略に関して,それぞれ1.48%と3.00%の絶対改善を得ることを実証した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *音声 ,  *感情 ,  依存性 ,  感受性 ,  改良 ,  可変性 ,  *認識 ,  モデル ,  *多モード ,  重みづけ ,  チャネル ,  発話
準シソーラス用語： 文脈情報 ,  マルチチャネル ,  *マルチスケール ,  *音声感情認識 , 【Automatic Indexing@JST】

著者キーワード (3件)： 音声感情認識 ,  発話レベル文脈情報 ,  マルチスケール融合フレームワーク

分類 (3件)： パターン認識  (JE07000S) ,  音声処理  (JE05000E) ,  情報加工一般  (AC05010A)

タイトルに関連する用語 (6件)： 自己注意機構 ,  マルチスケール ,  融合 ,  フレームワーク ,  マルチモーダル ,  音声感情認識