文献

J-GLOBAL ID：200902288422604044   整理番号：09A0596133

仮説検定に基づく英文書の母語話者性の判別

Discernment of Nativeness of English Documents Based on Statistical Hypothesis Testing

著者 (4件)： 冨浦洋一 (九大 大学院システム情報科学研究院) ,  青木さやか (新日鉄ソリューションズ) ,  柴田雅博 (九大 大学院システム情報科学研究院) ,  行野顕正 (ジャストシステム)
資料名： 自然言語処理  (Journal of Natural Language Processing)
巻： 16  号： 1  ページ： 25-46  発行年： 2009年01月10日 
JST資料番号： L3934A  ISSN： 1340-7619  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,ベイズ識別と仮説検定に基づいて,英文書の作成者の母語話者/非母語話者の判別を高精度で行う手法を提案する。品詞n-gramモデルを言語モデルとし,判別対象の文書の品詞列の生起確率を,母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し,判別を行う。nを大きくすると,母語話者/非母語話者固有の特徴をより良く扱うことが可能となり,判別精度の向上が期待できる反面,ゼロ頻度問題およびスパースネスの問題が顕在化し,品詞n-gramモデルのパラメタの最尤推定値を信頼することはできくなる。そこで,提案手法では,仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する。実験の結果,従来手法を上回る92.5%の精度で判別できることを確認している。(著者抄録)

シソーラス用語： *自然言語処理 ,  *判別分析 ,  文書 ,  英語 ,  *仮説検定 ,  *Bayes推定 ,  精度 ,  品詞 ,  *文字列 ,  最尤法 ,  言語モデル ,  評価試験
準シソーラス用語： *N-gram ,  英語文書 ,  母語話者

分類 (3件)： 自然語処理  (JE06000L) ,  システム・制御理論一般  (IA02010H) ,  情報加工一般  (AC05010A)

引用文献 (17件)：

• CAVNAR, W. B. N-Gram-Based Text Categorization. Proceedings of SDAIR-94, 3rd Annual Symposium on Document Analysis and Information Retrieval, Las Vegas. US. 1994, 161-175
• DUNNING, T. Statistical Identification of Language. 1994
• LEE, L. Measures of Distributional Similarity. 37th Annual Meeting of the Association for Computational Linguistics, 1999. 1999, 25-32
• SIBUN, P. Language Identification : Examining the Issues. 5th Symposium on Document Analysis and Information Retrieval, Las Vegas, Nevada, U.S.A., 1996. 1996, 125-135
• TOMOKIYO, L. M. You're Not From Round Here, Are You? Naive Bayes Detection of Non-native Utterance Text. Proceedings of the 2nd Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL-01). 2001, 239-5246

タイトルに関連する用語 (4件)： 仮説検定 ,  文書 ,  母語話者 ,  判別