顔ビデオ検出のための音声視覚注意に基づくマルチモーダルネットワーク【JST・京大機械翻訳】

Wang Ganglai; Zhang Peng; Xie Lei; Huang Wei; Zha Yufei; Zhang Yanning

プレプリント

J-GLOBAL ID：202202218805806710 整理番号：22P0301828

顔ビデオ検出のための音声視覚注意に基づくマルチモーダルネットワーク【JST・京大機械翻訳】

An Audio-Visual Attention Based Multimodal Network for Fake Talking Face Videos Detection

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年03月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ディープFakeベースのデジタル顔偽造は,特にリップマニピュレーションが顔生成を話す際に使用されているとき,公共メディアセキュリティを脅かすので,ファクビデオ検出の困難さはさらに改善される。与えられた音声にマッチするようにリップ形状を変えるだけで,アイデンティティの顔特徴はそのような偽話顔ビデオで識別するのが難しい。事前知識としてのオーディオストリームに関する注意の欠如と共に,偽話顔生成の検出故障も避けられない。インフォームド決定出力に対するポストセンサ視覚証拠を強化するための聴覚情報を可能にする,人間のマルチセンサ知覚システムの意思決定機構に触発されて,本研究では,より正確な偽話顔ビデオ検出を達成するために,オーディオと視覚表現を組み込むことによって,偽話顔検出フレームワークFTFDNetを提案した。さらに,オーディオビジュアル注意機構(AVAM)を提案し,モジュール化により任意のオーディオビジュアルCNNアーキテクチャにシームレスに統合できるより有益な特徴を発見した。付加的AVAMによって,提案したFTFDNetは,確立したデータセット(FTFDD)に関してより良い検出性能を達成することができた。提案した作業の評価は,97%以上の検出率に到達できる偽話顔ビデオの検出に関して優れた性能を示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, , , ,

前のページに戻る