文献

J-GLOBAL ID：201002250834673222   整理番号：10A0587699

多周期的更新アクセスに適した二次記憶管理技法-連続的Webクローリングへの適用-

著者 (3件)： 田村孝之 (三菱電機 情報技総研) ,  田村孝之 (東大 生産技研) ,  喜連川優 (東大 生産技研)
資料名： 電子情報通信学会論文誌 D  (IEICE Transactions on Information and Systems (Japanese Edition))
巻： J93-D  号： 6  ページ： 805-815  発行年： 2010年06月01日 
JST資料番号： S0757C  ISSN： 1880-4535  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では大規模なデータベースの各レコードを独立周期で更新するアクセスパターンに適した新たな二次記憶編成方式を提案する。このようなアクセスパターンは,筆者らが取り組んでいる大規模Webアーカイブ構築のための連続的Webクローリングに特徴的なものである。連続的Webクローリングにおいては,Webページごとに更新頻度を推定し,アクセス間隔を適応的に制御することで収集の効率化を図るが,更新頻度推定に必要なWebページごとの状態情報をアクセスのつど更新する必要が生じ,その更新負荷が大規模化の妨げとなってしまう。提案手法はレコードのアクセス予定時刻の知識を利用してデータを配置するものであり,大規模Webクローリングの実データを用いた評価によりその劇的な効果を実証する。(著者抄録)

シソーラス用語： *Web【情報システム】 ,  *情報収集 ,  *補助メモリ ,  *記憶管理 ,  *データ更新 ,  大規模 ,  型 ,  周期 ,  Webページ ,  間隔 ,  *データベース
準シソーラス用語： *Webクローリング ,  アクセスパターン ,  時間間隔

分類 (1件)： データベースシステム  (JD03030U)

引用文献 (15件)：

• 喜連川優, 豊田正史, 田村孝之, 鍛治伸裕, 今村誠, 高山泰博, 藤原聡子, “SocioSense: 過去9年に及ぶWebアーカイブから社会の動きを読む,”情報処理, vol.49, no.11, pp. 1290-1296, 2008.
• M. Kitsuregawa, T. Tamura, M. Toyoda, and N. Kaji,“Socio-Sense: A system for analysing the societal be havior from long term web archive,” APWeb, pp. 1-8, 2008.
• 田村孝之, 喜連川優, “大規模Webアーカイブのための更新クローラの設計と実装,”日本データベース学会Letters, vol.6, no.1, pp. 173-176, 2007.
• 田村孝之, 喜連川優, “大規模Webアーカイブ更新クローラにおけるスケジューリング手法の評価,”信学論 (D), voLJ91-D, no3, pp. 551-559, March2008.
• S. Brin and L. Page,“The anatomy of a large-scale hypertextual Web search engine,” Proc. WWW7, pp. 107-117, 1998.

タイトルに関連する用語 (5件)： 更新 ,  アクセス ,  二次記憶 ,  技法 ,  Webクローリング