価電子-覚醒空間における画像と音楽の間の感情に基づくエンドツーエンドマッチング【JST・京大機械翻訳】

Zhao Sicheng; Li Yaxian; Yao Xingxu; Nie Weizhi; Xu Pengfei; Yang Jufeng; Keutzer Kurt

プレプリント

J-GLOBAL ID：202202205316928817 整理番号：22P0189809

価電子-覚醒空間における画像と音楽の間の感情に基づくエンドツーエンドマッチング【JST・京大機械翻訳】

Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年08月22日プレプリントサーバーでの情報更新日： 2020年08月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

画像と音楽の両者は,豊富な意味論を伝え,特定の感情を誘発するために広く用いられている。類似した感情を有するマッチング画像と音楽は,感情認識をより鮮明で,より強力にするのを助けるかもしれない。既存の感情ベース画像と音楽マッチング法は,感情の複雑度と微妙な性を十分に反映できない限られたカテゴリ感情状態を採用し,あるいは非現実的多段パイプラインを用いてマッチングモデルを訓練する。本論文では,連続価数(VA)空間における感情に基づく画像と音楽の間のエンドツーエンドマッチングを研究した。最初に,140K以上の画像-音楽対を用いて,画像-Music-Emotion-Matching-Net(IMEMet)と呼ばれる大規模データセットを構築した。次に,連続マッチング空間においてクロスモーダル類似性関係を保存する共有潜在埋込み空間を学習するためのクロスモーダル深層連続メトリック学習(CDCML)を提案した。最後に,画像と音楽の両方のVA空間における単一モード感情関係をさらに保存することにより埋込み空間を精密化した。ラベル空間における埋込み空間とタスク回帰におけるメトリック学習を,クロスモーダルマッチングと単一モードVA予測の両方に対して共同最適化する。IMEMet上で行われた広範な実験は,最先端の手法と比較して,感情ベース画像と音楽マッチングのためのCDCMLの優位性を実証した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, , ,

前のページに戻る