文献

J-GLOBAL ID：202202261648559454   整理番号：22A1077615

ConceptBeam:概念に基づく目的音声抽出

ConceptBeam: Concept driven target speech extraction.

著者 (9件)： 大石康智 (NTT) ,  DELCROIX Mark (NTT) ,  落合翼 (NTT) ,  荒木章子 (NTT) ,  竹内大起 (NTT) ,  仁泉大輔 (NTT) ,  木村昭悟 (NTT) ,  原田登 (NTT) ,  柏野邦夫 (NTT)
資料名： 日本音響学会研究発表会講演論文集(CD-ROM)  (日本音響学会講演論文集(CD-ROM))
巻： 2022  号： 春季  ページ： ROMBUNNO.1-1P-4  発行年： 2022年02月23日 
JST資料番号： G0381C  ISSN： 1880-7658  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・意味情報に対応する概念を手がかりとして,混合音・声信号から目的音声信号を抽出するConceptBeamの提案評価実験を実施。
・2名の話者が個別の画像ついて説明する混合音声信号を入力とし,画像によって指定された概念に関わる音声信号を抽出したところ,提案手法の基本動作を確認。
・音声の重なりや雑音を考慮した画像/音声埋め込みネットワークの学習,またはこのネットワークを含めたConceptBeam全体を最適化する学習手続きの検討が必要。
・ある画像やトピックを複数の話者が会話するシーンにおいて,それらをまとめて目的信号として抽出するようConceptBeamを拡張することも今後予定。

シソーラス用語： 情報 ,  *音声信号 ,  音響 ,  *音声 ,  画像 ,  *ネットワーク ,  学習 ,  最適化
準シソーラス用語： 意味情報 ,  混合音

分類 (2件)： 音声処理  (JE05000E) ,  人工知能  (JE08000Z)

引用文献 (4件)：

• K. Zmolikova et al., “SpeakerBeam: Speaker Aware Neural Network for Target Speaker Extraction in Speech Mixtures,” IEEE Journal of Selected Topics in Signal Processing, vol.13, no.4, 2019.
• M. Delcroix et al., “Speaker activity driven neural speech extraction,” in Proc. ICASSP, 2021.
• D. Harwath et al., “Jointly discovering visual objects and spoken words from raw sensory input,” in Proc. ICCV, 2019.
• Y. Ohishi et al., “Trilingual semantic embeddings of visually grounded speech with self-attention mechanisms,” in Proc. ICASSP, 2020.

タイトルに関連する用語 (2件)： 概念 ,  音声