文献

J-GLOBAL ID：201902290574268464   整理番号：19A2612541

自然言語のスケーリング特性による計算言語モデルの評価【JST・京大機械翻訳】

Evaluating Computational Language Models with Scaling Properties of Natural Language

著者 (2件)： Takahashi Shuntaro (Graduate School of Engineering, The University of Tokyo, Department of Advanced Interdisciplinary Studies.) ,  Tanaka-Ishii Kumiko (The University of Tokyo, Research Center for Advanced Science and Technology.)
資料名： Computational Linguistics  (Computational Linguistics)
巻： 45  号： 3  ページ： 481-513  発行年： 2019年 
JST資料番号： W0702A  ISSN： 0891-2017  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,自然言語の普遍的統計的挙動に関する自然言語の計算モデルを評価した。統計的機械分析により,自然言語テキストがスケーリング特性により特徴付けられることを明らかにした。これにより,語彙集団におけるグローバル構造とテキストの長いメモリを定量化した。著者らは,5つのスケーリング特性(Zipf則,Heaps則,Ebeling法,Taylor則,および長距離相関解析)が,計算モデルの評価に役立つかどうかを研究した。具体的には,n-gram言語モデル,確率的文脈自由文法,Simon/Pitman-Yorプロセスに基づく言語モデル,ニューラル言語モデル,およびテキスト生成のための生成的敵ネットワークをテストした。著者らの解析は,ゲート機構(すなわち,長い短期記憶;ゲート化された反復ユニット;および準再帰ニューラルネットワーク)を有するリカレントニューラルネットワークに基づく言語モデルが,自然言語の長いメモリ挙動を再現できる唯一の計算モデルであることを明らかにした。さらに,最近提案されたモデルベース評価法との比較により,Taylor則の指数がモデル品質の良い指標であることを見出した。Copyright 2019 Association for Computational Linguistics Published under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0) license Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *自然言語 ,  計算モデル ,  品質 ,  *言語モデル ,  記憶装置 ,  ニューラルネットワーク ,  語彙 ,  ネットワーク ,  文脈自由文法
準シソーラス用語： 評価法 ,  モデルベース ,  リカレントニューラルネットワーク ,  短期記憶 ,  長距離相関 ,  テキスト , 【Automatic Indexing@JST】

分類 (2件)： 情報加工一般  (AC05010A) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (5件)： 言語 ,  スケーリング ,  計算 ,  言語モデル ,  評価