文献

J-GLOBAL ID：202002277925598133   整理番号：20A0777057

音声分離のための話者独立オーディオビジュアルモデルにおける聴取者への洞察【JST・京大機械翻訳】

Looking to listen at the cocktail party a speaker-independent audio-visual model for speech separation

著者 (8件)： Ephrat Ariel (Google Research and The Hebrew University of Jerusalem, Israel) ,  Mosseri Inbar (Google Research) ,  Lang Oran (Google Research) ,  Dekel Tali (Google Research) ,  Wilson Kevin (Google Research) ,  Hassidim Avinatan (Google Research) ,  Freeman William T. (Google Research) ,  Rubinstein Michael (Google Research)
資料名： ACM Transactions on Graphics  (ACM Transactions on Graphics)
巻： 37  号： 4  ページ： 1-11  発行年： 2018年 
JST資料番号： W0137A  ISSN： 0730-0301  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 他の話者や背景雑音のような音の混合物から単一音声信号を分離するための結合オーディオビジュアルモデルを提案した。入力として音声のみを用いてこのタスクを解決することは非常に困難であり,ビデオにおける話者と分離音声信号の関連を提供しない。本論文では,このタスクを解決するために視覚および聴覚信号の両方を組み込んだ深いネットワークベースのモデルを提示した。視覚的特徴は,シーンにおける望ましい話者に関する音声を「焦点」に使用し,音声分離品質を改善するために使用される。筆者らの共同オーディオビジュアルモデルを訓練するために,筆者らは,Webからの数千時間のビデオセグメントから成る新しいデータセットであるAVSpeechを導入した。この方法の古典的な音声分離タスクへの適用性と,加熱されたインタビュー,雑音のあるバー,およびスクリーミングの子供を含む実世界のシナリオを示し,音声が分離されるビデオの中の人の顔を特定するだけのユーザを必要とする。この方法は,混合音声の場合において,最先端のオーディオのみの音声分離よりも明らかな利点を示した。さらに,話者に依存しない(任意話者に適用できる)話者独立のモデルは,話者依存性(各話者に対する別々のモデルを訓練する必要がある)の最近の聴覚-視覚音声分離法よりも良好な結果を生み出す。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 聴覚 ,  子供 ,  音声信号 ,  雑音 ,  *オーディオ機器 ,  *音響 ,  視覚 ,  Web【情報システム】 ,  ネットワーク ,  録画装置 ,  音声強調 ,  適応性
準シソーラス用語： *オーディオビジュアル ,  背景雑音 ,  *音声分離 , 【Automatic Indexing@JST】

著者キーワード (6件)： BLSTM ,  CNN ,  オーディオビジュアル ,  深層学習 ,  発生源分離 ,  音声強調

分類 (2件)： 音声処理  (JE05000E) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (6件)： 音声分離 ,  話者 ,  オーディオビジュアル ,  モデル ,  聴取 ,  洞察