文献

J-GLOBAL ID：201702233505434371   整理番号：17A0238750

局所貯蔵と専用庫をもつHPCベースHadoopプラットフォーム上でのアプリケーション性能の比較【Powered by NICT】

Comparing application performance on HPC-based Hadoop platforms with local storage and dedicated storage

著者 (4件)： Li Zhuozhao (Department of Computer Science, University of Virginia, Charlottesville, 22904) ,  Shen Haiying (Department of Computer Science, University of Virginia, Charlottesville, 22904) ,  Denton Jeffrey (Department of Electrical and Computer Engineering, Clemson University, Clemson, SC 29631) ,  Ligon Walter (Department of Electrical and Computer Engineering, Clemson University, Clemson, SC 29631)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2016  号： Big Data  ページ： 233-242  発行年： 2016年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 多くの高性能計算(HPC)部位がそれらのクラスタを様々な応用のためのHadoop MapReduceを支持した。しかし,HPCクラスタは貯蔵資源の配置に及ぼすHadoopクラスタとは異なっている。Hadoop分散ファイルシステム(HDFS)では,データは計算ノード上にあるが,HPCクラスタでは,データは貯蔵に特化した複数のノードに貯蔵される。専用貯蔵は計算ノードからI/O負荷の負荷を減少させるとより強力な貯蔵を提供する。局所貯蔵は良好な局所性を提供し,共有ストレージ資源の競合を回避した。二プラットフォームの洞察を得るために,本論文では,局所貯蔵と専用庫をもつHPC Hadoopプラットフォーム上でのアプリケーションの異なるタイプ(すなわち,入出力の多い,データ集約,CPU集約的)の性能と資源利用率を調べた。大入力ファイルサイズI/Ointensiveとデータ集中型アプリケーションは,専用貯蔵からより多くの利益を得ることができることを見出した,小入力ファイルサイズのこれらの応用は,局所貯蔵からより多くの利益を得ることができる。多数小型入力ファイルのCPUの負担が大きい用途では地方の貯蔵からより多くの恩恵を受ける,大型入力ファイルとこれらの応用は二プラットフォームから等しく利益を得る。Facebook合成トレースから異なるタイプのジョブのトレース駆動実験により著者らの知見を検証した。本研究では,異なるタイプのアプリケーションの性能を最適化し,システムオーバヘッドを削減するための最善のプラットフォームの選択に関する指針を提供した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： *応用プログラム ,  最適化 ,  集中化 ,  局所性 ,  クラスタ
準シソーラス用語： Facebook ,  資源利用 ,  データ集約 ,  Hadoop分散ファイルシステム ,  MapReduce ,  高性能コンピューティング ,  *Hadoop , 【Automatic Indexing@JST】

分類 (2件)： 計算機網  (JC03000K) ,  計算機システム開発  (JD02010R)

タイトルに関連する用語 (5件)： 貯蔵 ,  HPC ,  Hadoop ,  プラットフォーム ,  アプリケーション