スパース共有サブネットワークによる言語適応クロスリンガル音声表現学習【JST・京大機械翻訳】

Lu Yizhou; Huang Mingkun; Qu Xinghua; Wei Pengfei; Ma Zejun

プレプリント

J-GLOBAL ID：202202200062308790 整理番号：22P0301233

スパース共有サブネットワークによる言語適応クロスリンガル音声表現学習【JST・京大機械翻訳】

Language Adaptive Cross-lingual Speech Representation Learning with Sparse Sharing Sub-networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年03月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

教師なし交差言語音声表現学習(XLSR)は,最近,多言語にわたる大量のラベルなしデータを活用することにより,音声認識において有望な結果を示している。しかし,標準XLSRモデルは言語特異的モデリング能力の欠如により言語干渉問題に悩まされる。本研究では,XLSRモデルの言語適応訓練を検討した。さらに重要なことに,スパース共有サブネットワークに基づく新しい言語適応予訓練アプローチを提案した。それは,手動で設計した言語特異的成分を必要とせずに,各言語に対する重要でないパラメータを剪定することによって,言語特異的モデリングのための部屋を作る。剪定後,各言語はスパースサブネットワークのみを維持するが,サブネットワークは互いに部分的に共有される。下流多言語音声認識タスクに関する実験結果は,著者らの提案方法が,高資源と低資源言語の両方に関して,ベースラインXLSRモデルを著しく凌駕することを示した。そのうえ,著者らの提案方法は,他の適応法よりも一貫して優れ,より少ないパラメータを必要とする。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識

, , , , ,

前のページに戻る