文献

J-GLOBAL ID：201502254519787106   整理番号：15A0458157

Producer-Consumer型モジュールで構成された並列分散Webクローラの開発

A Parallel Distributed Web Crawler Consisting of Producer-Consumer Modules

著者 (8件)： 上田高徳 (早稲田大) ,  佐藤亘 (早稲田大) ,  鈴木大地 (早稲田大) ,  打田研二 (早稲田大) ,  森本浩介 (早稲田大) ,  秋岡明香 (早稲田大) ,  山名早人 (早稲田大) ,  山名早人 (国立情報学研)
資料名： 情報処理学会論文誌トランザクション データベース(Web)  (情報処理学会論文誌 データベース(Web))
巻： 6  号： 2  ページ： 85-97 (WEB ONLY)  発行年： 2013年03月29日 
JST資料番号： U0476A  ISSN： 1882-7799  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： Webクローラは,クローリング済みURLの検出やWebサーバに対する連続アクセス防止といった処理を実行しながらデータ収集を行う必要がある。Web空間に存在する大量のURLに対して高速な収集を実現するために並列分散クローリングが求められるが,省資源でのクローリングを行うためにも,処理の時間計算量と空間計算量の削減に加え,計算機間の負荷分散も必要である。本論文で提案するWebクローラは,クローリング処理をProducer-Consumer型のモジュール群で実行することにより,これまでの被クロールWebサイト単位での負荷分散でなく,Webクローラを構成するモジュール単位での負荷分散を実現する。つまり,Webクローラを構成する各モジュールが必要とする計算機資源に応じた分散処理が可能になり,計算機間での計算負荷やメモリ使用量の偏りを改善することができる。また,ホスト名やURLを管理するモジュールは時間計算量と空間計算量に優れたデータ構造を利用して構成されており,大規模なクローリングが省資源で可能になる。(著者抄録)

シソーラス用語： *Web【情報システム】 ,  *データ収集 ,  情報検索 ,  Webページ ,  番地指定方式 ,  *分散処理 ,  *並列処理 ,  計算機アーキテクチャ ,  *データモデル
準シソーラス用語： *Webクローリング ,  URL【インターネット】 ,  *並列分散処理 ,  *Producer-Consumerモデル

分類 (3件)： 計算機網  (JC03000K) ,  ディジタル計算機方式一般  (JC02010O) ,  検索技術  (AC06020S)

引用文献 (20件)：

• Heydon, A. and Najork, M.: Mercator: A Scalable, Extensible Web Crawler, World Wide Web, Vol.2, No.4, pp.219-229 (1999).
• Koehl, A. and Wang, H.: Surviving a Search Engine Overload, Proc. WWW 2012 (2012).
• Broder, A.Z., Najork, M. and Wiener, J.L.: Efficient URL Caching for World Wide Web Crawling, Proc. WWW 2003 (2003).
• Bloom, B.H.: Space/Time Trade-offs in Hash Coding with Allowable Errors, Comm. ACM (CACM), Vol.13, No.7 (July 1970).
• Deng, F. and Rafiei, D.: Approximately Detecting Duplicates for Streaming Data using Stable Bloom Filters, Proc. SIGMOD 2006 (2006).

タイトルに関連する用語 (4件)： モジュール ,  Web ,  クローラ ,  開発