文献

J-GLOBAL ID：202002264637029771   整理番号：20A1614223

LRS2データセットのための重複音声のオーディオビジュアル認識【JST・京大機械翻訳】

Audio-Visual Recognition of Overlapped Speech for the LRS2 Dataset

著者 (10件)： Yu Jianwei (The Chinese University of Hong Kong) ,  Zhang Shi-Xiong (Tencent AI Lab,Bellevue,USA) ,  Wu Jian (Tencent AI Lab,Shenzhen,China) ,  Ghorbani Shahram (University of Texas at Dallas,Center of Robust Speech Systems (CRSS)) ,  Wu Bo (Tencent AI Lab,Shenzhen,China) ,  Kang Shiyin (Tencent AI Lab,Shenzhen,China) ,  Liu Shansong (The Chinese University of Hong Kong) ,  Liu Xunying (The Chinese University of Hong Kong) ,  Meng Helen (The Chinese University of Hong Kong) ,  Yu Dong (Tencent AI Lab,Bellevue,USA)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： ICASSP  ページ： 6984-6988  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 重複音声の自動認識は,今日まで非常に挑戦的なタスクである。人間の音声知覚のバイモーダル特性によって動機づけられて,本論文は,重複した音声認識のためのオーディオビジュアル技術の使用を調査した。オーディオビジュアル音声認識(AVSR)システムの構築に関連する3つの問題に取り組んだ。最初に,AVSRシステムのエンドツーエンドとハイブリッドの基本アーキテクチャ設計を研究した。第二に,意図的に設計したモダリティ融合ゲートを用いて,オーディオと視覚特徴をロバストに統合した。第3に,明示的音声分離と認識成分を含む従来のパイプライン化アーキテクチャとは対照的に,格子フリーMMI(LF-MMI)識別基準を用いて一貫して最適化した流線と統合AVSRシステムも提案した。提案したLF-MMI時間遅れニューラルネットワーク(TDNN)システムは,LRS2データセットのための最先端技術を確立した。LRS2データセットからシミュレートした重複音声に関する実験は,提案したAVSRシステムが,単語誤り率(WER)削減において,最大29.98%絶対値まで,オーディオのみのベースラインLF-MMI DNNシステムより性能が優れており,より複雑なパイプラインシステムに匹敵する認識性能を生成することを示唆した。また,特徴融合を用いたベースラインAVSRシステム上のWER低減における4.89%絶対の一貫した性能改善を得た。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 音声認識 ,  最適化 ,  流線 ,  音声知覚 ,  *オーディオ機器 ,  エンドツーエンド方式 ,  誤り率 ,  絶対値 ,  計算機アーキテクチャ ,  単語 ,  ロバスト性
準シソーラス用語： モダリティ ,  *オーディオビジュアル ,  音声分離 ,  自動認識 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： データセット ,  音声 ,  オーディオビジュアル