文献

J-GLOBAL ID：201802248800208629   整理番号：18A1550501

階層的深部時空特徴と融合戦略による顔運動と身体ジェスチャからの感情認識

Affect recognition from facial movements and body gestures by hierarchical deep spatio-temporal features and fusion strategy

著者 (4件)： Sun Bo (College of Information Science and Technology, Beijing Normal University, Beijing, 100875, China) ,  Cao Siming (College of Information Science and Technology, Beijing Normal University, Beijing, 100875, China) ,  He Jun (College of Information Science and Technology, Beijing Normal University, Beijing, 100875, China) ,  Yu Lejun (College of Information Science and Technology, Beijing Normal University, Beijing, 100875, China)
資料名： Neural Networks  (Neural Networks)
巻： 105  ページ： 36-51  発行年： 2018年09月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 影響提示は,顔面運動,身体ジェスチャなどのような周期的で多モードである。研究は,時間的選択と多モード組合せが,認識に影響を及ぼす可能性があることを示した。そこで本論文では,選択表現成分に基づいて空間時間的階層特徴を抽出する時空間融合モデルを提案した。さらに,多モード階層的融合戦略を提示した。著者らのモデルは,提案した深いネットワークによってビデオから時空の階層的特徴を学習して,それは主成分分析(PCA)を有する畳込みニューラルネットワーク(CNN),両側の長い短期記憶リカレントニューラルネットワーク(BLSTM-RNN)を結合した。この手法は,ビデオ文として各ビデオを扱う。最初に,時間的選択プロセスにより骨格を獲得し,次に,特定のスライディングウィンドウによりキーワードをセグメント化し,最後に,ビデオスケルトンとビデオ単語から成る深いネットワークを持つ特徴を得た。著者らのモデルは,マルチモーダル情報を融合するために特徴レベルと決定レベル融合を結合して,実験結果は,著者らのモデルが既存の文献における95.13%から顔とボディ(FABO)データベースに関する99.57%まで改良して,著者らの結果が4.44%まで増加して,それが99.71%までマクロ平均精度(MAA)を得たことを示した。Copyright 2018 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *ニューラルネットワーク ,  *神経回路網 ,  *セグメンテーション ,  キーワード ,  データベース ,  ネットワーク ,  主成分分析 ,  多モード ,  単語 ,  *録画装置 ,  *認識 ,  機械学習 ,  *挙動 ,  記憶
準シソーラス用語： スライディングウィンドウ ,  *リカレントニューラルネットワーク ,  *感情認識 ,  *畳込みニューラルネットワーク ,  深層学習 ,  *身振り ,  短期記憶

著者キーワード (6件)： 感情認識 ,  深層学習 ,  畳み込みニューラルネットワーク ,  両側長短期記憶リカレントニューラルネットワーク ,  深い時空階層的特徴 ,  マルチモーダル特徴融合戦略

分類 (3件)： ニューロコンピュータ  (JC06010Q) ,  パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (9件)： 深部 ,  時空 ,  融合 ,  戦略 ,  顔 ,  運動 ,  身体 ,  ジェスチャ ,  感情認識