Pat

J-GLOBAL ID：201103000655926015

クローラ管理システム及び方法

Inventor： 肥後 学 ,  薄 亮輔
Applicant, Patent owner： ヤフー株式会社
Agent (1)： 正林 真之
Gazette classification：公開公報
Application number (International application number)：2010083826
Publication number (International publication number)：2011215912
Application date： Mar. 31, 2010
Publication date： Oct. 27, 2011
Summary：

【課題】クローラのプログラム自体の改変を行わずに、更新頻度の高い特定のWebページに対応して情報を取得できるクローラ管理システム及び方法を提供すること。【解決手段】複数のクローラ(123a,123b)は、複数のキュー記憶手段(112a,112b)に記憶されたURLを読み出して当該URLに対応するWebページのデータを取得する。このとき、優先的にクロールさせる特定のURLが複数のキュー記憶手段(112a,112b)のうち一部のキュー記憶手段(112a)に記憶された場合、当該一部のキュー記憶手段(112a)から特定のURLを優先的に読み込む。【選択図】図1

Claim (excerpt)：

通信ネットワーク上に公開されたWebサーバを巡回してWebページのデータを取得するクロール装置と、前記クロール装置のクロール先を指定するクロール先管理装置と、を備えるクローラ管理システムであって、 前記クロール装置は、 前記クロール先を示すURLをキューとして記憶する複数のキュー記憶手段と、 前記複数のキュー記憶手段が記憶したURLを読み込んで対応するWebページのデータを取得する複数のクローラと、を備え、 前記クロール先管理装置は、 前記複数のキュー記憶手段のうち一部のキュー記憶手段に、前記複数のクローラを優先してクロールさせる特定のURLを記憶させる優先クロール先指定手段と、を備え、 前記クローラは、前記優先クロール先指定手段が前記特定のURLを前記一部のキュー記憶手段に記憶させたことに応じて、当該記憶させた前記特定のURLを、それ以外の前記キュー記憶手段が記憶するURLに優先して読み込むクローラ管理システム。

IPC (1)：

G06F 13/00

FI (1)：

G06F13/00 540B

F-Term (10)：

5B084AA12 ,  5B084AB04 ,  5B084AB30 ,  5B084BB12 ,  5B084BB15 ,  5B084CA13 ,  5B084CC02 ,  5B084CC18 ,  5B084CD10 ,  5B084DA12