マルチモーダルオーディオビジュアル音声認識のためのユニモーダル自己教師付き学習の利用【JST・京大機械翻訳】

Pan Xichen; Chen Peiyu; Gong Yichen; Zhou Helong; Wang Xinbing; Lin Zhouhan

プレプリント

J-GLOBAL ID：202202213410062192 整理番号：22P0304646

マルチモーダルオーディオビジュアル音声認識のためのユニモーダル自己教師付き学習の利用【JST・京大機械翻訳】

Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年02月24日プレプリントサーバーでの情報更新日： 2022年03月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

訓練変換機ベースのモデルは大量のデータを必要とするが,一方,マルチモーダルにおける整列およびラベル付きデータを得ることは,特にオーディオビジュアル音声認識(AVSR)に対して,むしろコスト要求である。したがって,それはラベルなし単峰性データの利用を多くの意味にする。一方,大規模自己監督学習の有効性は,オーディオと視覚の両モダリティで十分に確立されているが,これらの事前訓練モデルをマルチモーダルシナリオに統合する方法は未開発のままである。本研究では,マルチモーダルAVSRを促進するために,単峰性自己監督学習をうまく活用した。特に,オーディオと視覚フロントエンドを大規模単峰データセット上で訓練し,次に,両フロントエンドの成分を,CTCとseq2seq復号化の組合せを通して,並列オーディオビジュアルデータを認識するために学習するより大きなマルチモーダルフレームワークに統合した。単峰性自己監督学習から継承された両成分はよく協調し,マルチモーダルフレームワークが微調整を通して競合結果をもたらすことを示す。このモデルを単語レベルと文章レベルタスクの両方で実験的に検証した。特に,外部言語モデルなしでも,提案モデルは,30%の相対的改善で,大きなマージンによって広く受け入れられるLip Reading Sentences 2(LRS2)データセットに関する最先端の性能を上げる。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, ,

前のページに戻る