文献

J-GLOBAL ID：201502216131787220   整理番号：15A1018521

再帰型ニューラルネットワーク言語モデルへのメタ情報の統合

Integrating meta-information into recurrent neural network language models

著者 (8件)： SHI Yangyang (Intelligent Systems Dep., Delft Univ. of Technol., NLD) ,  SHI Yangyang (Building 18, Xinghu Street 328, Industrial Park, Suzhou 215123, CHN) ,  LARSON Martha (Intelligent Systems Dep., Delft Univ. of Technol., NLD) ,  PELEMANS Joris (ESAT Speech Group, Catholic Univ. of Leuven, BEL) ,  JONKER Catholijn M. (Intelligent Systems Dep., Delft Univ. of Technol., NLD) ,  WAMBACQ Patrick (ESAT Speech Group, Catholic Univ. of Leuven, BEL) ,  WIGGERS Pascal (CREATE-IT Applied Res., Amsterdam Univ. of Applied Sciences, NLD) ,  DEMUYNCK Kris (Dep. of Electronics and Information Systems, Univ. of Gent, BEL)
資料名： Speech Communication  (Speech Communication)
巻： 73  ページ： 64-80  発行年： 2015年10月 
JST資料番号： W1590A  ISSN： 0167-6393  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 伝統的なnグラム言語モデルに優る利点のために,再帰型ニューラルネットワーク言語モデル(RNNLMs)は最近,音声認識分野でかなりの研究の注目を集めている。本論文では,RNNLMsの付加的な知識源の統合しやすさを調べた。単語の語彙の独自性に関連する捕捉情報を与える特徴に集中して取り組んだ。そのような情報をメタ情報と称する。口語オランダ語(CGNと呼ぶ)の難しいコーパスだけでなく,英語のWall Street Journal(WSJ)コーパスにおいても,Nベストリストのスコアの見直し実験によってそれらの利点を調べた。まず,品詞(POS)タグと見出し語といった従来の言語モデルの性能に貢献することが知られている,単語レベルの言語情報の2つの情報源を調べた。RNNLMsは同様にそれら情報源から利益を享受することが確かめられた。次に,社会状況設定(ssss)とトピックといった言語モデルのためになるとして知られる,談話レベルの情報の2つの情報源を調べた。ssssはCGNデータに存在し,言語使用域の代用として見ることができる。本調査の目的のために,sssにおける情報が音声が記録された瞬間にとらえられると仮定する。トピック,すなわち異なる話題の扱いはWSJデータに存在する。POS,見出し語,sss,及びトピックを予測するために第2のRNNLMを主RNNLMに結合した。このアーキテクチャを再帰型ニューラルネットワーク連携言語モデル(RNNTLM)と称する。本実験での発見はもし高品質のメタ情報ラベルが利用できるならば,単語レベルと談話レベルの情報が言語モデルの性能を向上させることを示した。第3に,スコアの見直し時にそれらが知られるので,文長と単語長(トークンサイズ)といった活用に対してすぐに利用できる,本質的な情報の2つの情報源を調べた。それは言語モデリング研究によって広く見過ごされてきた。CGNデータとWSJデータにおける2つの実験の結果は,文長と単語長の統合が向上を実現することを示した。RNNLMsはそれらの特徴を簡単に組み込むことができ,性能向上が得られる。Copyright 2015 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *ニューラルネットワーク ,  *言語モデル ,  情報 ,  インデクシング【計算機】 ,  再帰性 ,  コーパス ,  西洋語 ,  英語 ,  評価試験 ,  品詞 ,  用語 ,  主題
準シソーラス用語： Nグラム ,  オランダ語 ,  メタ情報 ,  見出し語

分類 (2件)： ニューロコンピュータ  (JC06010Q) ,  情報加工一般  (AC05010A)

タイトルに関連する用語 (4件)： 再帰型ニューラルネットワーク ,  言語モデル ,  メタ情報 ,  統合