Pat
J-GLOBAL ID：201103000655926015
クローラ管理システム及び方法
Inventor：
,
Applicant, Patent owner：
Agent (1)：
正林 真之
Gazette classification：公開公報
Application number (International application number)：2010083826
Publication number (International publication number)：2011215912
Application date： Mar. 31, 2010
Publication date： Oct. 27, 2011
Summary：
【課題】クローラのプログラム自体の改変を行わずに、更新頻度の高い特定のWebページに対応して情報を取得できるクローラ管理システム及び方法を提供すること。【解決手段】複数のクローラ(123a,123b)は、複数のキュー記憶手段(112a,112b)に記憶されたURLを読み出して当該URLに対応するWebページのデータを取得する。このとき、優先的にクロールさせる特定のURLが複数のキュー記憶手段(112a,112b)のうち一部のキュー記憶手段(112a)に記憶された場合、当該一部のキュー記憶手段(112a)から特定のURLを優先的に読み込む。【選択図】図1
Claim (excerpt)：
通信ネットワーク上に公開されたWebサーバを巡回してWebページのデータを取得するクロール装置と、前記クロール装置のクロール先を指定するクロール先管理装置と、を備えるクローラ管理システムであって、
前記クロール装置は、
前記クロール先を示すURLをキューとして記憶する複数のキュー記憶手段と、
前記複数のキュー記憶手段が記憶したURLを読み込んで対応するWebページのデータを取得する複数のクローラと、を備え、
前記クロール先管理装置は、
前記複数のキュー記憶手段のうち一部のキュー記憶手段に、前記複数のクローラを優先してクロールさせる特定のURLを記憶させる優先クロール先指定手段と、を備え、
前記クローラは、前記優先クロール先指定手段が前記特定のURLを前記一部のキュー記憶手段に記憶させたことに応じて、当該記憶させた前記特定のURLを、それ以外の前記キュー記憶手段が記憶するURLに優先して読み込むクローラ管理システム。
IPC (1)：
FI (1)：
F-Term (10)：
5B084AA12
, 5B084AB04
, 5B084AB30
, 5B084BB12
, 5B084BB15
, 5B084CA13
, 5B084CC02
, 5B084CC18
, 5B084CD10
, 5B084DA12
Cited by applicant (6)
Show all
Return to Previous Page
