概念活性化ベクトルを用いたマルチモーダル感情認識のための解釈可能性【JST・京大機械翻訳】

Asokan Ashish Ramayee; Kumar Nidarshan; Ragam Anirudh Venkata; Sharath Shylaja S

プレプリント

J-GLOBAL ID：202202206310978240 整理番号：22P0283684

概念活性化ベクトルを用いたマルチモーダル感情認識のための解釈可能性【JST・京大機械翻訳】

Interpretability for Multimodal Emotion Recognition using Concept Activation Vectors

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月02日プレプリントサーバーでの情報更新日： 2022年02月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マルチモーダル感情認識は,複数の入力モダリティ(通常ビデオ,オーディオおよびテキスト)に基づく感情ラベルへの入力ビデオシーケンスの分類に言及する。近年,深層ニューラルネットワークは,人間の感情の認識において顕著な性能を示し,このタスクに関する人間レベルのパフォーマンスと関係がある。この分野における最近の進歩にもかかわらず,感情認識システムは,それらの推論と意思決定プロセスの不明瞭な性質のために,実世界のセットアップのためにまだ受け入れられていない。この分野における研究の殆どは,これらのモデルの決定のための説明を提供するいくつかの試みで,このタスクに対する性能を改善するための新しいアーキテクチャを扱う。本論文では,概念活性化ベクトル(CAV)を用いた感情認識の文脈におけるニューラルネットワークの可読性の問題に取り組んだ。モデルの潜在空間を解析するために,著者らは,Emotion AIに特異的で,広く使用されたIEMOCAPマルチモーダルデータベースにそれらをマップする,人間-理解可能な概念を定義した。次に,Bi方向文脈LSTM(BC-LSTM)ネットワークの多重層での提案概念の影響を評価し,感情認識のためのニューラルネットワークの推論プロセスを,人間-理解可能な概念を用いて表現できることを示した。最後に,提案した概念に関する仮説テストを行い,それらがこのタスクの可読性に重要であることを示した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

応用心理学 , 人工知能

, , , , ,

前のページに戻る