特許
J-GLOBAL ID:201003078691653728
URL変換装置、URL変換方法、URL変換プログラム及びWeb情報収集システム
発明者:
出願人/特許権者:
代理人 (2件):
溝井 章司
, 八巻 満隆
公報種別:公開公報
出願番号(国際出願番号):特願2008-297949
公開番号(公開出願番号):特開2010-123043
出願日: 2008年11月21日
公開日(公表日): 2010年06月03日
要約:
【課題】未知の通過型URL等が示すWebページへの不要なアクセスを回避し、本質的なコンテンツを直接ダウンロードすることを可能にすることを目的とする。【解決手段】URL変換装置1は、Webクローラ8がコンテンツ情報を収集したURLと、収集したコンテンツ情報から参照されるURLとを取得して、通過型URL等から本質的コンテンツを有するWebページのURLへの変換ルールを抽出する。また、URL変換装置1は、Webクローラ8から収集した次のアクセス先を示すURLが変換ルールに該当する場合、変換ルールに基づきそのURLを変換して、変換後のURLをWebクローラ8へ返す。Webクローラ8は、URL変換装置1により変換されたURLに従いWebページからコンテンツを収集する。【選択図】図1
請求項(抜粋):
複数のアクセス先からコンテンツ情報を収集する収集装置がアクセス先を指定するURL(Uniform Resource Locator)を変換するURL変換装置であり、
前記収集装置がコンテンツ情報を収集したURLである参照元URLと、収集したコンテンツ情報から参照されるURLである参照先URLとを取得する取得部と、
前記取得部が取得した前記参照元URLと前記参照先URLとを対にして記憶装置に記憶して前記対を蓄積するURL蓄積部と、
前記URL蓄積部が蓄積した前記対から変換元URLと変換先URLとを変換ルールとして処理装置により検出する変換ルール検出部と、
前記変換ルール検出部が検出した変換ルールを記憶装置に記憶する変換ルール記憶部と、
前記取得部が取得した参照先URLの少なくとも一部が前記変換ルール記憶部が記憶した変換ルールの変換元URLと一致する場合、前記参照先URLの一致部分を当該変換先URLに処理装置により置き換えて前記収集装置へ送信する変換部と
を備えることを特徴とするURL変換装置。
IPC (2件):
FI (3件):
G06F12/00 546P
, G06F13/00 540B
, G06F13/00 540F
Fターム (1件):
引用特許:
出願人引用 (8件)
全件表示
審査官引用 (1件)
前のページに戻る