文献

J-GLOBAL ID：202202260567300207   整理番号：22A0446640

人生の生計データに基づいたHadoop MapReduceとスパークの比較分析【JST・京大機械翻訳】

Comparative Analysis of Hadoop MapReduce and Spark Based on People’s Livelihood Appeal Data

著者 (3件)： Liang Lixin (College of Big data and Internet, Shenzhen technology university, ShenZhen, China) ,  Zhao Heng (College of Big data and Internet, Shenzhen technology university, ShenZhen, China) ,  Shen Yongan (College of Big data and Internet, Shenzhen technology university, ShenZhen, China)
資料名： Communications in Computer and Information Science  (Communications in Computer and Information Science)
巻： 1496  ページ： 71-91  発行年： 2022年 
JST資料番号： W5071A  ISSN： 1865-0929  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： データ研究分野において,最も挑戦的な課題の一つは,高効率で大量のデータから鍵情報を抽出する方法である。HadoopとSparkは2つの広く研究され,分散データ処理のためのフレームワークを利用する。Hadoopはディスクベースの貯蔵と処理システムであり,大きなデータセットをより小さな部分に破壊し,並列にデータ処理を行う。しかしながら,特にMapReduceのプログラミングフレームワークのために,それは,データ読取と書き込みの両方において,低速と高コストの問題に遭遇する。Hadoopは,必要な部分の代わりにディスクからの全データセットを始めから順次読み込む。スパークは,そのメモリベース処理のため,Hadoopにおける多くの問題を効果的に回避する。Directed Acycular Graph(DAG)と呼ばれる頂点とエッジの集合に従って,Sparkはディスクからデータを繰り返し読み書き込む必要がなく,データ処理においてはるかに高い効率を明らかにする。本論文において,著者らは,中国,Shenzhen(深川),Pingshan地区から得る人々のLiveliフード appalデータに基づくHadoop MapReduceとSparkの比較分析を行う。Copyright Springer Nature Singapore Pte Ltd. 2022 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *円板 ,  データ処理 ,  低速度 ,  処理装置 ,  データ読取
準シソーラス用語： *Hadoop ,  ビッグデータ ,  *MapReduce , 【Automatic Indexing@JST】

著者キーワード (5件)： ビッグデータ ,  分散データ処理 ,  MapReduce ,  Hadoop ,  火花

分類 (1件)： 計算機システム開発  (JD02010R)

タイトルに関連する用語 (6件)： 人生 ,  生計 ,  Hadoop ,  MapReduce ,  スパーク ,  比較分析