文献

J-GLOBAL ID：202002277098792285   整理番号：20A2277236

語レベル言語モデルのための主要用語マイナー長短期メモリ【JST・京大機械翻訳】

Major-Minor Long Short-Term Memory for Word-Level Language Model

著者 (5件)： Shuang Kai (State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing, China) ,  Li Rui (State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing, China) ,  Gu Mengyu (State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing, China) ,  Loo Jonathan (School of Computing and Engineering, University of West London, London, U.K.) ,  Su Sen (State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing, China)
資料名： IEEE Transactions on Neural Networks and Learning Systems  (IEEE Transactions on Neural Networks and Learning Systems)
巻： 31  号： 10  ページ： 3932-3946  発行年： 2020年 
JST資料番号： T0881A  ISSN： 2162-237X  CODEN： ITNNEP  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 言語モデル(LM)は,機械翻訳,音声認識,学習トークン埋込み,自然言語生成,テキスト分類などの自然言語処理(NLP)システムにおいて重要な役割を果たす。最近,多層長短期メモリ(LSTM)モデルが,単語レベル言語モデリングにおいて有望な性能を達成することを実証した。各LSTM層に対して,より大きな隠れサイズは,通常,より多様な意味的特徴を意味し,LMをよりよく実行することを可能にする。しかし,あるLSTM層が十分に大きなスケールに達すると,その隠れサイズが大きくなるにつれて,全体的効果の促進が遅くなることを観測した。本論文では,この現象を導く重要な因子が,LSTMの多様な特徴表現を妨げる,新しく拡張した隠れ状態と元の隠れ状態の間の高い相関であると分析する。その結果,スケールが十分に大きいとき,単にLSTM隠れ状態の延長は,大きな余分なパラメータを費やすが,しかし,ほとんど影響を持たなかった。大規模Major LSTMと小規模Minor LSTMから成る各LSTM層に関する簡単で効果的な改良を提案し,隠れ状態の2つの部分間の高い相関を切断し,Major Lagranginor LSTM(MMLSTM)と呼ぶ。実験において,MMLSTMによるLMは,Pennツリーバンク(PTB)とWikiText-2(WT2)データセットに関する既存の最先端モデルを凌駕し,モデルパラメータ数を増やすことなく,WikiText-103データセット上で,ベースラインを3.3ポイントまで凌駕することを実証した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 音声認識 ,  *記憶装置 ,  学習 ,  機械翻訳 ,  自然言語処理 ,  マイナ ,  基準線 ,  多層 ,  単語 ,  トークン ,  *言語モデル
準シソーラス用語： テキスト分類 ,  自然言語生成 ,  言語モデリング ,  長短期記憶 , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： 語 ,  言語モデル ,  用語 ,  マイナー