文献

J-GLOBAL ID：201302269765530710   整理番号：13A1888958

検索ヒット数の正確性評価:大規模クロールデータに対する文書頻度との比較

著者 (5件)： 佐藤亘 (早稲田大) ,  上田高徳 (早稲田大) ,  上田高徳 (日本アイ・ビー・エム 東京基礎研) ,  山名早人 (早稲田大 理工学術院) ,  山名早人 (国立情報学研)
資料名： 日本データベース学会論文誌  (Journal of the DBSJ)
巻： 12  号： 1  ページ： 13-18  発行年： 2013年06月21日 
JST資料番号： L5754A  ISSN： 1883-1060  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： Webコンテンツを活用した研究では,検索エンジンの結果を利用することが多い。しかし,検索エンジンのヒット数の誤差は,時折,増大することがある。本稿では,大規模なWebクローリングによって得られたデータに対して,検索ヒット数と文書頻度を比較し,ヒット数の正確性を評価した。Web上の網羅的文書に対して単語統計を得るためのクローリング方法と文書頻度のカウント方法を示した。4,000万ページのWebを調査した。完全一致検索で得たヒット数の文書頻度に対するピアソン積率相関係数は0.807となった。これは,時系列的に安定しているヒット数だけを用いることで,0.897に向上した。数日間安定しているヒット数は,その値の正確性が高いことを示している。

シソーラス用語： *情報検索 ,  性質 ,  コンテンツ ,  検索エンジン ,  相関係数 ,  集合 ,  *精度 ,  Webコンテンツ ,  *ウェブ検索
準シソーラス用語： Pearsonの積率相関係数 ,  *正確性 ,  大規模データセット

分類 (1件)： 検索技術  (AC06020S)

引用文献 (20件)：

• R. L. Cilibrasi and P. M. B. Vitanyi, “The Google Similarity Distance”, IEEE Trans. on Knowledge and Data Engineering, Vol.19, No.3, pp.370-383,2007
• P. Turney, “Mining the web for synonyms: PMI-IR versus LSA on TOEFL”, Proc. of ECML-01, pp. 491-502, 2001.
• P. Cimiano and S. Handschuh, “Towards the self-anotating web”, Proc. WWW2004, pp462-471, 2004.
• Y. Matsuo, J. Mori, M. Hamasaki, H. Takeda, T. Nishimura, K. Hasida and M. Ishizuka, “POLY-PHO NET: An advanced social network extraction system”, Proc. WWW 2006, 2006.
• M. Thelwall, “Quantitative Comparisons of Search Engine Results”, J. of the American Society for Information Science and Technology, Vol.59, No.11, pp.1702-1710, 2008.

タイトルに関連する用語 (7件)： 検索 ,  正確性 ,  評価 ,  大規模 ,  クロール ,  文書 ,  頻度