文献

J-GLOBAL ID：200902230448188865   整理番号：09A0007158

仮説検定に基づいた言語識別

Language Identification Using Statistical Hypothesis Testing for Similar Languages

著者 (3件)： 水田貴章 (九大 大学院システム情報科学府) ,  柴田雅博 (九大 大学院システム情報科学研究院) ,  冨浦洋一 (九大 大学院システム情報科学研究院)
資料名： 情報処理学会研究報告  (IPSJ SIG Technical Reports)
巻： 2008  号： 113(NL-188)  ページ： 91-98  発行年： 2008年11月19日 
JST資料番号： Z0031B  ISSN： 0919-6072  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： コーパスベースで言語知識を獲得する場合には,その言語の大規模なコーパスが必要となる。Web上には多種の言語で書かれた膨大な数の文書が存在するため,そこから文書を収集することによって様々な言語の大規模コーパスの構築が可能である。このとき,言語ごとのコーパスを構築するためには,まず,収集文書がどの言語で書かれているかを識別する必要がある。本論文では,仮説検定を導入した言語識別手法を提案する。この手法により,長いbyte列を用いた場合でも統計的な揺らぎの影響が小さい言語識別が可能となる。実験の結果,従来手法では識別が難しかった小さなサイズの文書に対しても高い精度で言語識別を行えることが確認できた。(著者抄録)

シソーラス用語： *自然言語処理 ,  *コーパス ,  大規模系 ,  *仮説検定 ,  *ゆらぎ ,  統計解析 ,  実験 ,  文書 ,  小規模 ,  精度 ,  システム評価
準シソーラス用語： *言語識別 ,  評価実験

分類 (3件)： 自然語処理  (JE06000L) ,  情報加工一般  (AC05010A) ,  システム・制御理論一般  (IA02010H)

引用文献 (7件)：

• CAVNAR, William B. N-gram-based text categorization. Proceedings of Symposium on Document Analysis and Information Retrieval, 1994. 1994, 161-176
• DUNNING, T. Statistical identification of language. 1994
• KITA, Kenji. Reconstructing the language family tree from multilingual corpus based on probabilistic language modeling. Natural Language Processing. 1997, 4, 3, 71-82
• SIBUN, Penelope. Language identification : Examining the issues. Proceedings of the 5th Symposium on Document Analysis and Information Retrieval, 1996. 1996, 125-135
• YUKINO, Kensei. Robust language identification for similar languages and short texts using low-frequent byte strings. Proceedings of Pacific Association for Computational Linguistics (PACLING'05). 2005, 368-373

タイトルに関連する用語 (3件)： 仮説検定 ,  言語 ,  識別