文献

J-GLOBAL ID：201702254701540773   整理番号：17A0853577

Hadoop分散システムに基づくspeedilyフェッチデータのWebクローラモデル【Powered by NICT】

Web crawler model of fetching data speedily based on Hadoop distributed system

著者 (2件)： Linping Su (School of Control and Computer Engineering, North China Electric Power University, Beijing, China) ,  Fengxiao Wang (School of Control and Computer Engineering, North China Electric Power University, Beijing, China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2016  号： ICSESS  ページ： 927-931  発行年： 2016年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,大規模データのフィルタリングとソーティングの欠如,ウェブクローラはタイムリーにし,現在のネットワーク環境におけるインターネットのデータ指標を得る効果的にできない他の理由を考慮したHadoop分散システムに基づく迅速フェッチデータのウェブクローラモデルを提案した。クローラモデルはフェッチデータとデータ蓄積の操作を多様化する機能やパーソナライゼーションの方法による分散システムへの単一スレッドまたはマルチスレッドWebクローラを移植する,クローラのスケーラビリティと信頼性を改善し,プログラムを複数のオペレーティングシステム上で実行することができる。実験を通して,Webクローラモデルは短時間で多数のデータを抽出する速度に著しい影響を及ぼすことが証明されている。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： オペレーティングシステム ,  インターネット ,  *分散系 ,  スレッド ,  フィルタリング ,  データ蓄積 ,  マルチスレッド ,  ソーティング ,  多様化 ,  *Web【情報システム】 ,  信頼性
準シソーラス用語： パーソナル化 ,  ネットワーク環境 ,  大規模データ ,  *Hadoop , 【Automatic Indexing@JST】

分類 (1件)： 計算機網  (JC03000K)

タイトルに関連する用語 (6件)： Hadoop ,  分散システム ,  フェッチ ,  Web ,  クローラ ,  モデル