文献

J-GLOBAL ID：200902216140171551   整理番号：09A0076588

フリーソフトによるデータ解析・マイニング 第66回 統計的テキスト解析(11)~カイ2乗統計量によるテキストの分析~

著者 (1件)： JIN Mingzhe (同志社大 文化情報)
資料名： Estrela  (Estrela)
号： 178  ページ： 42-47  発行年： 2009年01月10日 
JST資料番号： L5366A  ISSN： 1343-5647  資料種別： 逐次刊行物 (A)
記事区分： 解説  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,テキストから集計した度数データをカイ2乗統計量に基づいて分析する方法を解説した。まず,実測度数と理論度数が同じであるとの仮説を用いる適合度検定を説明し,2008年10月号掲載の標題連載論文第63回における「戦争と平和」の単語の長さ分布を検討した。具体的には,ポアソン分布で推測した相対度数を理論値とし,実測値との適合度検定を行ったところ自由度5,有意水準5%のカイ2乗値よりも小さかったことからポアソン分布に従うことが確かめられた。次に,データの行/列のパターンが同じであるかを判断する分割表の検定においてカイ2乗値を用い,芥川龍之介の大正15年と昭和2年の作品における読点データからパターンに差があることを検証した。また,よりカイ2乗分布に近似するためのイェーツ補正や,分割表の期待度数が小さい場合に利用できるフィッシャーの正確検定を説明し,テキストの特徴語抽出での利用例を示した。さらに,モデルの比較・選択に多用されている尤度比統計量や,関連の度合いを示す量としてファイ連関係数,ピアソンの連関係数,クラメールの連関係数を解説した。

シソーラス用語： *確率分布 ,  統計量 ,  *χ2乗検定 ,  Poisson分布 ,  表 ,  用語 ,  尤度比検定 ,  相関係数 ,  *データマイニング
準シソーラス用語： χ2乗統計量 ,  *χ二乗分布 ,  *統計的テキスト解析 ,  特徴語 ,  分割表

分類 (2件)： システム・制御理論一般  (IA02010H) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： フリーソフト ,  データ解析 ,  統計的テキスト解析 ,  統計量 ,  分析