局所性問題:自動音声認識のための局所性バイアス線形注意【JST・京大機械翻訳】

Sun Jingyu; Zhong Guiping; Zhou Dinghao; Li Baoxiang; Zhong Yiran

プレプリント

J-GLOBAL ID：202202214968892597 整理番号：22P0312259

局所性問題:自動音声認識のための局所性バイアス線形注意【JST・京大機械翻訳】

Locality Matters: A Locality-Biased Linear Attention for Automatic Speech Recognition

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月29日プレプリントサーバーでの情報更新日： 2022年03月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

コンフォーマは,多くの公開ベンチマークに関する自動音声認識(ASR)において大きな成功を示した。その重要な欠点の一つは,入力シーケンス長に関する二次時間空間複雑性であり,それは,モデルをスケールアップするだけでなく,より長い入力オーディオシーケンスを処理する。この問題を解決するため,多数の線形注意法を提案した。しかし,これらの方法は,しばしば,隣接トークンが距離のトークンよりも接続されるという事実を無視して,モデリングにおいて同様にトークンを処理するので,ASRに関して限られた性能を有する。本論文では,この事実を考慮し,コンフォーマの新しい局所バイアス線形注意を提案した。それは,バニラコンフォーマよりも高い精度を達成するだけでなく,線形時空計算複雑度も楽しむ。特異的であるために,著者らはコンフォーマブロックにおける局所バイアス線形注意(LBLA)機構によるソフトマックス注意を置き換える。LBLAは,隣接トークンにより多くの重みを課すために,線形複雑性と余弦再重み付け行列を確実にするためのカーネル関数を含んでいる。LibriSpeechコーパスに関する大規模な実験は,この局所バイアスをコンフォーマに導入することによって,著者らの方法が22%以上の推論速度によってより低い単語誤り率を達成することを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , アンテナ

, , , ,

前のページに戻る