文献

J-GLOBAL ID：202002216372159489   整理番号：20A0904502

ASRのための変圧器とLSTMエンコーダ復号器モデルの比較【JST・京大機械翻訳】

A Comparison of Transformer and LSTM Encoder Decoder Models for ASR

著者 (5件)： Zeyer Albert (AppTek GmbH,Aachen,Germany,52062) ,  Bahar Parnia (AppTek GmbH,Aachen,Germany,52062) ,  Irie Kazuki (Human Language Technology and Pattern Recognition, RWTH Aachen University,Computer Science Department,Aachen,Germany,52074) ,  Schluter Ralf (Human Language Technology and Pattern Recognition, RWTH Aachen University,Computer Science Department,Aachen,Germany,52074) ,  Ney Hermann (AppTek GmbH,Aachen,Germany,52062)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： ASRU  ページ： 8-15  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 著者らは,同様に実行するLSTMモデルと比較して,より少ない訓練時間を必要とするエンドツーエンド音声認識のためのトランスフォーマ符号器-復号器-注意モデルを用いて,競合結果を提示した。トランスフォーマ訓練はLSTMと比較して一般的により安定であることを観測したが,それはさらに過剰に適合すると思われ,従って一般化によるより多くの問題を示した。また,トランスフォーマ符号器における2つの初期LSTM層が,より良い位置符号化を提供することを見出した。データ増強,スペクトルの変異体は,変換器を33%,LSTMを15%相対的に改善するのに役立つ。著者らは,変換器とLSTMモデルの両方に重要な,いくつかの事前訓練とスケジューリング方式を分析した。追加畳込み層によりLSTMモデルを改良した。著者らは,Lib-riSpeech1000h,スイッチボード300h,およびTED-LIUM-v2200hに関する著者らの実験を実行して,著者らは,注目に基づくエンドツーエンドモデルのためのTED-LIUM-v2に関する最先端の性能を示した。著者らは,より長い訓練時間がより長く改善されているが,実際的な興味の結果を維持するために,比較のための訓練データの12.5エポックに対するLibriSpeechの訓練を意図的に制限した。この実験を実行するために,すべてのコードとセットアップを発表する。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 音声認識 ,  畳込み ,  変圧器 ,  変換器 ,  スケジューリング ,  配電盤 ,  *復号器 ,  スペクトル ,  *符号器 ,  エンドツーエンド方式 ,  LSTMネットワーク
準シソーラス用語： 訓練データ ,  長短期記憶 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： ASR ,  変圧器 ,  エンコーダ ,  復号器 ,  モデル