文献

J-GLOBAL ID：201002204957882088   整理番号：10A1065959

インターネットの資源を利用した効率的分散Webクローリング

Efficient Distributed Web Crawling Utilizing Internet Resources

著者 (4件)： XU Xiao (Harbin Inst. Technol., CHN) ,  ZHANG Weizhe (Harbin Inst. Technol., CHN) ,  ZHANG Hongli (Harbin Inst. Technol., CHN) ,  FANG Binxing (Harbin Inst. Technol., CHN)
資料名： IEICE Transactions on Information and Systems (Institute of Electronics, Information and Communication Engineers)  (IEICE Transactions on Information and Systems (Institute of Electronics, Information and Communication Engineers))
巻： E93-D  号： 10  ページ： 2747-2762  発行年： 2010年10月01日 
JST資料番号： L1371A  ISSN： 0916-8532  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 低コストで大規模なWebアプリケーションを構築するために,インターネットに跨った個人の計算資源を利用するインターネット・コンピューティングを提案した。また,インターネット・コンピューティングの概念に基づくDHTベースの分散Webクローリング・モデルを提案した。システムのスループット及び更新率を向上させるために,Webクローリング・タスクのダウンロード時間及び待ち時間を低減する2つの最適化手法を提案した。この寄与者フレンドリーな友好ダウンロード方式に基づけば,クローア-クローリ間のRTTを短くする事によってダウンロード時間の改善が達成される。RTTを正確に見積もるために,ネットワーク協調システムは基礎にあるDHTと統合される。待ち時間の改善は,各クローアに等しいサイズを持たせたキューを維持するために入力クローリング・タスクを負荷の軽いクローアにリダイレクトする事で達成される。また,タスク粒度を低減するために大きなWebサイトをより小さな断片に分割する単純なWebサイト分割手法を提案した。提案した全ての手法は実際のインタネット上のテスト及びシミュレーションによって評価され,満足できる結果を示した。(翻訳著者抄録)

シソーラス用語： *インターネット ,  計算機網 ,  環境 ,  ダウンロード ,  待ち時間 ,  Web【情報システム】 ,  情報収集
準シソーラス用語： RTT ,  Webアプリケーション ,  *クローリング ,  ネットワークコンピューティング ,  高効率 ,  低コスト ,  分散ハッシュテーブル ,  *分散環境

分類 (2件)： データ通信  (ND11040A) ,  計算機網  (JC03000K)

引用文献 (27件)：

• FOSTER, I. Internet computing and the emerging grid. Nature. 2000
• WERTHIMER, D. Seti@home-massively distributed computing for seti. Comput. Sci. Eng. 2001, 3, 78-83
• Yacy distributed Web search. http://yacy.net/
• Faroo real time searchh. http://www.faroo.com/
• Majesti-12 : Distributed Web search. http://www.majestic12.co.uk/

タイトルに関連する用語 (3件)： インターネット ,  資源 ,  Webクローリング