文献

J-GLOBAL ID：202002263937489038   整理番号：20A0144920

相補的視聴覚特徴に基づく大域的感情ビデオコンテンツ回帰【JST・京大機械翻訳】

Global Affective Video Content Regression Based on Complementary Audio-Visual Features

著者 (6件)： Guo Xiaona (Key Laboratory of Media Audio and Video, Ministry of Education, Communication University of China, Beijing, China) ,  Zhong Wei (Key Laboratory of Media Audio and Video, Ministry of Education, Communication University of China, Beijing, China) ,  Ye Long (Key Laboratory of Media Audio and Video, Ministry of Education, Communication University of China, Beijing, China) ,  Fang Li (Key Laboratory of Media Audio and Video, Ministry of Education, Communication University of China, Beijing, China) ,  Heng Yan (Shanghai Radio Equipment Research Institute, Shanghai, China) ,  Zhang Qin (Key Laboratory of Media Audio and Video, Ministry of Education, Communication University of China, Beijing, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 11962  ページ： 540-550  発行年： 2020年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 本論文では,5つの補完的な聴覚視覚特徴を有する大域的感情ビデオコンテンツ回帰のための新しいフレームワークを提案した。音声モダリティに対して,大域的音声特徴eGeMAPSと2つの深い特徴SoundNetとVGGishを選択した。視覚モダリティに関しては,元の画像のキーフレームとオプティカルフロー画像のそれらの両方を用いて,運動情報と結合した元の視覚キューを表現するために,細かいモデルを用いてVGG-19特徴を抽出した。実験において,著者らは映画Task2016(EIMT16)の感情的影響のデータセットに関する選択されたオーディオと視覚特性の評価を実行して,著者らの結果をEIMT16と最先端の方法における競争チームのものと比較した。実験結果は,5つの特徴の融合が覚醒と原子価の両方においてより良い回帰結果を達成することができることを示して,選択した5つの特徴が聴覚視覚モダリティにおいて互いに相補的であることを示した。さらに,提案した手法は,覚醒次元におけるMSEとPCCの両方の評価計量において最先端の方法よりも良好な回帰結果を達成することができ,同等のMSEは原子価次元をもたらす。著者らのアプローチは,原子価次元における最先端の方法よりもわずかに低いPCC結果を得るが,本フレームワークで用いた融合特徴ベクトルは,最先端技術において,合計1752,特徴次元のわずか5つの数千,および計算負荷を大幅に低減する,より低い次元を持っている。Copyright 2020 Springer Nature Switzerland AG Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： オーディオ機器 ,  原子価 ,  覚醒 ,  音響 ,  *聴覚 ,  視覚 ,  オプティカルフロー
準シソーラス用語： 特徴ベクトル ,  キーフレーム ,  モダリティ ,  *映像コンテンツ ,  *視聴覚 , 【Automatic Indexing@JST】

著者キーワード (5件)： 感情的ビデオコンテンツ回帰 ,  EGEMAP ,  サウンドネット ,  VGG ,  オプティカルフロー

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： 視聴覚 ,  感情 ,  ビデオコンテンツ