文献

J-GLOBAL ID：202202277294588354   整理番号：22A0984624

音楽と電気皮膚活動シグナルの融合による大規模感情認識のためのマルチモーダルフレームワーク【JST・京大機械翻訳】

A Multimodal Framework for Large-Scale Emotion Recognition by Fusing Music and Electrodermal Activity Signals

著者 (5件)： Yin Guanghao (Zhejiang University, Hangzhou, China) ,  Sun Shouqian (Zhejiang University, Hangzhou, China) ,  Yu Dian (Zhejiang University, Hangzhou, China) ,  Li Dejian (Zhejiang University, Hangzhou, China) ,  Zhang Kejun (Zhejiang University and Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies, Hangzhou, China)
資料名： ACM Transactions on Multimedia Computing, Communications, and Applications  (ACM Transactions on Multimedia Computing, Communications, and Applications)
巻： 18  号： 3  ページ： 1-23  発行年： 2022年 
JST資料番号： W5702A  ISSN： 1551-6857  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 感情コンピューティングの分野における生理学的信号ベースの感情認識に,かなりの注意が払われている。信頼性とユーザフレンドリーな取得のために,電極活性(EDA)は実用化において大きな利点を有する。しかし,大規模被験者によるEDAベースの感情認識は,まだ強靭な問題である。手工作特徴を有する従来のよく設計された分類器は,それらの限られた表現能力のため,より劣った結果をもたらす。そして,自動特徴抽出による深層学習モデルは,大規模な個人差のため,過剰適合ドロップオフを被った。音楽は人間の感情と強い相関を持つので,静的音楽は様々な動的EDA信号を制約する外部ベンチマークとして関与できる。本論文では,被験者の個々のEDA特徴および外部誘発音楽特徴の融合による試みを行った。そして,エンドツーエンドマルチモーダルフレームワーク,1次元残差時間的およびチャネル注意ネットワーク(RTCAN-1D)を提案した。EDA特徴のために,EDAベースの感情認識のためのチャネル-時間注意機構は,一時的およびチャネル-ワイズ動的および安定した特徴のマイニングに最初に関与する。DEAPとAMIGOSデータセットに関する単一EDAベースのSOTAモデルとの比較は,EDA特徴をマイニングするためにRTCAN-1Dの有効性を証明した。音楽特徴のために,外部特徴ベクトルを得るために,オープンソースツールキットオープンSMILEを用いて音楽信号を単純に処理する。系統的で広範な評価を実施した。現在の最大音楽感情データセットPMEmoに関する実験は,EDAと音楽の融合が大規模感情認識のための信頼できて効率的な解決策であることを検証した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 信頼性 ,  ネットワーク ,  電極 ,  特徴抽出 ,  *皮膚 ,  残差 ,  *認識 ,  エンドツーエンド方式 ,  一次元 ,  *多モード ,  ベンチマーク ,  機械学習
準シソーラス用語： 被験者 ,  個人差 ,  特徴ベクトル ,  *感情認識 ,  深層学習 , 【Automatic Indexing@JST】

著者キーワード (3件)： マルチモーダル融合 ,  大規模感情認識 ,  注意機構

分類 (2件)： 生体計測  (EL03020C) ,  応用心理学  (AE02000A)

タイトルに関連する用語 (7件)： 音楽 ,  皮膚 ,  活動 ,  シグナル ,  融合 ,  大規模 ,  感情認識