HPCクラスタ上での中間データ配置とシャッフル戦略のための光沢上のMapReduceの包括的研究【Powered by NICT】

Rahman Md. Wasi-ur-; Islam Nusrat Sharmin; Lu Xiaoyi; Panda Dhabaleswar K. DK

文献

J-GLOBAL ID：201702282308289591 整理番号：17A0826159

HPCクラスタ上での中間データ配置とシャッフル戦略のための光沢上のMapReduceの包括的研究【Powered by NICT】

A Comprehensive Study of MapReduce Over Lustre for Intermediate Data Placement and Shuffle Strategies on HPC Clusters

出版者サイト複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=17A0826159&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=17A0826159&from=J-GLOBAL&jstjournalNo=T0882A") }}

著者 (4件)： , , ,
資料名：
巻： 28 号： 3 ページ： 633-646 発行年： 2017年
JST資料番号： T0882A ISSN： 1045-9219 CODEN： ITDSEO 資料種別：逐次刊行物 (A)
記事区分：原著論文発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

高性能相互接続と並列ファイルシステムは,現代の高性能計算(HPC)クラスタ上でのMapReduceのランニングは,ビッグデータとH PC技術の組合せを用いたデータ分析問題を解くためのその一意性のために多くの注目を集めている。MapReduceアーキテクチャはローカル記憶媒体の利用可能性に強く依存しているので,HPCクラスタにおけるLustreベース大域的貯蔵は,多くの新しい機会と挑戦を提起する。本論文では,光沢展開上の異なるMapReduceに関する包括的研究を行い,中間データのための付加的な記憶プロバイダとしてLustreを利用したHPCクラスタ上の糸MapReduceの新しい高性能設計を提案した。ローカルディスクとLustreの両方が,中間的データ貯蔵に利用されているが展開アーキテクチャを用いて,著者らは,RDMA(遠隔直接メモリアクセス)強化されたMapReduceは,オンラインプロファイリングによる実行中の最良の中間貯蔵を選択できる新規な優先ディレクトリ選択方式を提案した。著者らの結果は,リーダシップクラスのHPCシステムにおけるシャッフル集中負荷の44%性能利益を達成することを示した。優先ディレクトリ選択方式は,デフォルトMapReduce上の63%ジョブ実行時間を改善することができる複数コンカレントジョブを実行した。著者らの知識の及ぶ限りでは,これは光沢とRDMAと糸MapReduceのための最初の包括的研究である。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

ディジタル計算機方式一般

, , , , , ,

前のページに戻る