文献

J-GLOBAL ID：202102275235425081   整理番号：21A1300193

大規模データ集合に基づくマルチノードHadoopクラスタの性能解析【JST・京大機械翻訳】

Performance Analysis of Multi-Node Hadoop Cluster Based on Large Data Sets

著者 (5件)： Ahmed N. (SNCS Massey University,Big Data Lab,Auckland,New Zealand) ,  Barczak Andre L.C. (SNCS Massey University,Big Data Lab,Auckland,New Zealand) ,  Bazai Sibghat Ullah (Massey University,Cyber Security Lab, SNCS,Auckland,New Zealand) ,  Susnjak Teo (SNCS Massey University,Big Data Lab,Auckland,New Zealand) ,  Rashid Mohammed A. (Massey University,Mechanical and Electrical Engineering,Auckland,New Zealand)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： CSDE  ページ： 1-6  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： この論文の目的は,2つの異なるクラスタ,1つは5スレーブノード,もう1つは9スレーブノードを用いて,MapReduceとSparkにおけるHadoopクラスタの性能を評価することである。実験では,HiBenchark作業負荷Word Count and TeraSortを,50GBから600GBまでの様々なデータスケールを用いて使用した。著者らは,いくつかの異なるパラメータを選択し,それらのデフォルト値を調整値に置換し,各ジョブの実行時間におけるそのような変化の影響を解析することを可能にした。結果は,Word CountとTerasort作業負荷の両方に対して,調整パラメータに依存して,MapReduceとSparkが,各データポイントで64%と約60%の性能改善を達成したことを示した。さらに,余分なスレーブノードを用いて1%のスピードアップ進展のわずかに興味深い結果を得た。これらの結果は,クラスタ性能が少数のパラメータのデフォルト値の変更と付加的スレーブノードの追加によって改良できることを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *クラスタ ,  高速化 ,  性能分析
準シソーラス用語： 実行時間 ,  デフォルト値 ,  *Hadoop ,  MapReduce ,  大規模データセット , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： 大規模データ集合 ,  マルチ ,  ノード ,  Hadoop ,  クラスタ ,  性能解析