WavThruVec:神経音声合成のための中間特徴としての潜在音声表現【JST・京大機械翻訳】

Siuzdak Hubert; Dura Piotr; van Rijn Pol; Jacoby Nori

プレプリント

J-GLOBAL ID：202202208555734870 整理番号：22P0323151

WavThruVec:神経音声合成のための中間特徴としての潜在音声表現【JST・京大機械翻訳】

WavThruVec: Latent speech representation as intermediate features for neural speech synthesis

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月31日プレプリントサーバーでの情報更新日： 2022年07月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

神経テキスト対音声研究の最近の進歩は,メルスペクトログラムのような低レベル中間音声表現を利用する2段階パイプラインによって支配されてきた。しかし,隠れ表現を学習することを通してデータ駆動手法のフルポテンシャルを利用することができないので,そのような事前決定特徴は基本的に制限される。この理由のために,いくつかのエンドツーエンド法が提案されている。しかし,そのようなモデルは訓練が困難であり,転写による多数の高品質記録を必要とする。ここでは,中間音声表現として高次元Wav2Vec2.0埋込みを用いてボトルネックを解決する2段階アーキテクチャであるWavThruVecを提案する。これらの隠れ活性化は高レベルの言語特徴を提供するので,それらは雑音に対してよりロバストである。これは,第一段階モジュールを訓練するために,低品質の注釈付き音声データセットの利用を可能にする。同時に,Wav2Vec2.0埋込みが既に時間整列しているので,第2段階成分を大規模非転写オーディオコーパス上で訓練できる。これは,語彙外単語に対する一般化能力の増加,および話者の話者に対するより良い一般化をもたらした。提案モデルは最先端のニューラルモデルの品質と一致するだけでなく,音声変換やゼロショット合成のようなタスクを可能にする有用な特性も示す。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

音声処理 , パターン認識

, , ,

前のページに戻る