RespVAD:ビデオ抽出呼吸パターンによる音声活動検出【JST・京大機械翻訳】

Mondal Arnab Kumar; P Prathosh A.

プレプリント

J-GLOBAL ID：202202205420348130 整理番号：22P0183646

RespVAD:ビデオ抽出呼吸パターンによる音声活動検出【JST・京大機械翻訳】

RespVAD: Voice Activity Detection via Video-Extracted Respiration Patterns

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年08月21日プレプリントサーバーでの情報更新日： 2020年08月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

音声活動検出(VAD)は,オーディオやビデオのようなディジタル信号における人間の音声の領域の同定のタスクに言及する。VADは,多くの音声処理システムにおいて必要な第一段階であるが,オーディオ記録中に高レベルの環境雑音が存在するとき,課題を提起する。そのような条件におけるVADの性能を改善するために,話者ビデオ記録の口/リップ領域を取り囲む領域から抽出した視覚情報を利用するいくつかの方法を提案した。これらがオーディオのみの方法よりも利点を提供するにもかかわらず,それらは口唇/口領域の忠実な抽出に依存する。これらに動機づけられて,呼吸が音声生成のためのエネルギーの一次源を形成するという事実に基づくVADの新しいパラダイムを提案した。特に,話者ビデオから抽出した呼吸パターンを用いたオーディオ独立VAD技術を開発した。呼吸パターンは,まず,光学フローベース法を用いて,話者の腹部-胸部領域に焦点を当てたビデオから抽出される。続いて,神経配列-配列予測モデルを用いて呼吸パターン信号から音声活動を検出した。提案手法の有効性を,実際の音響環境で記録された挑戦的なデータセットの実験を通して実証し,オーディオと視覚の手がかりに基づく4つの以前の方法と比較した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

音声処理 , パターン認識

, , ,

前のページに戻る