文献

J-GLOBAL ID：201302282435551840   整理番号：13A0734292

Producer-Consumer型モジュールで構成された並列分散Webクローラの開発

著者 (8件)： 上田高徳 (早稲田大) ,  佐藤亘 (早稲田大) ,  鈴木大地 (早稲田大) ,  打田研二 (早稲田大) ,  森本浩介 (早稲田大) ,  秋岡明香 (早稲田大) ,  山名早人 (早稲田大) ,  山名早人 (国立情報学研)
資料名： 情報処理学会シンポジウムシリーズ(CD-ROM)  (IPSJ Symposium Series (CD-ROM))
巻： 2012  号： 5  ページ： ROMBUNNO.B3,UEDA  発行年： 2012年11月13日 
JST資料番号： L6741A  ISSN： 1882-0840  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では我々が開発してきた並列分散Webクローラの設計と実装について述べる。Webクローリングにおいては,クローリング済みURLの検出やサーバに対する連続アクセス防止といった処理をWeb空間に存在する大量のURLに対して実行しながら,Webデータの高速なダウンロードを実現する必要がある。また,Web空間に存在する大量のデータに対応するためには,並列処理や複数台の計算機によるクローリングが必要不可欠となる。このような並列分散Webクローラの設計は,ソフトウェアアーキテクチャに加えて,アルゴリズムやその時間計算量・空間計算量の観点から自明ではない。本論文で提案するWebクローラは,クローリング処理をProducer-Consumer型のモジュール群で分割実行し,全てのモジュールに任意数のスレッドと計算機を割り当てて並列分散実行することができ,Webサイトごとに分割処理する従来の方法よりも細かな粒度での並列分散化が可能である。(著者抄録)

シソーラス用語： *Web【情報システム】 ,  *情報検索 ,  *システム設計 ,  実装設計 ,  番地指定方式 ,  *分散処理 ,  *並列処理 ,  計算量 ,  記憶容量 ,  モデル ,  生産者 ,  消費者 ,  モジュール構造 ,  プログラム実行
準シソーラス用語： *Webクローラ ,  URL【インターネット】 ,  *並列分散処理 ,  生産者消費者モデル

分類 (4件)： その他の情報処理  (JE15050M) ,  検索技術  (AC06020S) ,  計算機システム開発  (JD02010R) ,  ディジタル計算機方式一般  (JC02010O)

タイトルに関連する用語 (4件)： モジュール ,  Web ,  クローラ ,  開発