文献

J-GLOBAL ID：202002221844978837   整理番号：20A2050842

マルチモーダル目的話者抽出におけるattention機構の検討

Multimodal Attention Fusion for Target Speaker Extraction

著者 (6件)： 佐藤宏 (NTT) ,  落合翼 (NTT) ,  木下慶介 (NTT) ,  DELCROIX Marc (NTT) ,  中谷智広 (NTT) ,  荒木章子 (NTT)
資料名： 日本音響学会研究発表会講演論文集(CD-ROM)  (日本音響学会講演論文集(CD-ROM))
巻： 2020  号： 秋季  ページ： ROMBUNNO.1-1-14  発行年： 2020年08月26日 
JST資料番号： G0381C  ISSN： 1880-7658  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・attention機構が所望の挙動を示し,手がかりの選択的な利用による抽出精度の向上を実現するために,正規化attentionと呼ばれるメカニズムとマルチタスク学習法を提案。
・audio-visual目的話者抽出において,attention機構を用いた手がかりの統合を検討。
・提案した正規化attention機構および手がかりの信頼性を予測するマルチタスク学習が,いずれも効果的なattentionの学習に寄与し目的話者抽出性能の向上を実現することを示唆。

シソーラス用語： 多モード ,  *機械学習 ,  スピーカ ,  正規化
準シソーラス用語： *attention機構 ,  *マルチタスク学習 ,  マルチモーダル ,  深層学習 ,  *目的話者抽出

分類 (1件)： 音声処理  (JE05000E)

引用文献 (7件)：

• M. Delcroix et al., “Single channel target speaker extraction and recognition with speaker beam,” in Proc. ICASSP, 2018, pp. 5554-5558.
• A. Ephrat et al., “Looking to listen at the cocktail party: a speaker-independent audio-visual model for speech separation,” ACM Transactions on Graphics (TOG), vol. 37, no. 4, pp. 1-11, 2018.
• T. Afouras et al., “My Lips Are Concealed: Audio-Visual Speech Enhancement Through Obstructions,” in Proc. Interspeech 2019, 2019, pp. 4295-4299.
• T. Ochiai et al., “Multimodal SpeakerBeam: Single Channel Target Speech Extraction with Audio-Visual Speaker Clues,” in Proc. Interspeech 2019, 2019, pp. 2718-2722.
• Y. Luo and N. Mesgarani, “Conv-tasnet: Surpassing ideal time-frequency magnitude masking for speech separation,” IEEE/ACM transactions on audio, speech, and language processing, vol. 27, no. 8, pp. 1256-1266, 2019.

タイトルに関連する用語 (2件)： マルチモーダル ,  話者