文献

J-GLOBAL ID：202002268912484192   整理番号：20A0779273

自己注意に基づくエンドツーエンド音声合成のための局所性モデリングについて

On the localness modeling for the self-attention based end-to-end speech synthesis

著者 (8件)： Yang Shan (Audio, Speech and Language Processing Group (ASLP@NPU), National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science, Northwestern Polytechnical University, Xi’an, China) ,  Lu Heng (Tencent AI Lab, China) ,  Kang Shiyin (Tencent AI Lab, China) ,  Xue Liumeng (Audio, Speech and Language Processing Group (ASLP@NPU), National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science, Northwestern Polytechnical University, Xi’an, China) ,  Xiao Jinba (Audio, Speech and Language Processing Group (ASLP@NPU), National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science, Northwestern Polytechnical University, Xi’an, China) ,  Su Dan (Tencent AI Lab, China) ,  Xie Lei (Audio, Speech and Language Processing Group (ASLP@NPU), National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science, Northwestern Polytechnical University, Xi’an, China) ,  Yu Dong (Tencent AI Lab, China)
資料名： Neural Networks  (Neural Networks)
巻： 125  ページ： 121-130  発行年： 2020年05月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 注意ベースのエンドツーエンド音声合成は,従来の「フロントエンド」-「バックエンド」構造と比較して韻律と品質の両方においてより良い性能を達成する。しかし,そのようなエンドツーエンドフレームワークの学習は,再帰ニューラルネットワーク使用のために,通常,時間がかかる。並列計算と長期依存性モデリングを可能にするために,Transformerと名付けられた自己注意ベースのみのフレームワークが,最近,エンドツーエンドファミリーにおいて提案された。しかしながら,それは逐次モデリングにおける位置情報を欠き,良好な性能を達成するためには別途の位置表現が欠かせない。さらに,自己注意の重み付き和形式を,潜在的表現を計算するとき,全体の入力シーケンスにわたって実行するが,それは,より重要な隣接入力状態に焦点を合わせるよりも,全体の入力シーケンスに注意を分散させ,生成誤差をもたらす。本論文では,音声合成のための自己注意に基づく表現を強化するために,2つの局所性モデリング法を導入し,自己注意における並列計算と長期依存性モデリングの能力を維持しながら生成安定性を改善した。自己注意ベースのみに基づくエンドツーエンド音声合成フレームワークを系統的に解析し,局所文脈の重要性を明らかにした。次に,局所エッジを強化する相対位置意識法を追加することを提案し,局所性モデリングの有効性を調べるために異なるアーキテクチャによる実験を行った。問い合わせ固有ウィンドウを達成し,相対位置意識アプローチのハイパーパラメータを捨てるために,局所性を強化するGaussベースのバイアスをさらに加えた。実験結果は,2つの提案した局所性強化法は共に,エンコーダ部分に適用されたとき特に,自己注意モデルの性能を改善できることを示した。そして,Gaussバイアス方式の問い合わせ固有ウィンドウは,固定相対的エッジと比較しCopyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *ニューラルネットワーク ,  *音声合成 ,  注意 ,  エンドツーエンド方式 ,  局所性 ,  モデリング ,  音韻論 ,  音の高さ ,  音韻 ,  音質 ,  機械学習 ,  回帰モデル ,  並列演算
準シソーラス用語： リカレントニューラルネットワーク ,  韻律 ,  並列計算

著者キーワード (5件)： 音声合成 ,  自己注意 ,  局所性モデリング ,  相対位置意識 ,  Gaussバイアス

分類 (2件)： ニューロコンピュータ  (JC06010Q) ,  音声処理  (JE05000E)

タイトルに関連する用語 (6件)： 自己 ,  注意 ,  エンドツーエンド ,  音声合成 ,  局所性 ,  モデリング