抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
MapReduceは,多くのデータ科学応用に広く用いられている。過剰データ移動はその性能に負の影響を持つことが観察された。データ転送の量を減らすために,MapReduceは,データの局所性を利用した。しかし,処理コストの大部分は後期段階で起こるにもかかわらず,データの局所性が,初期段階,浅いデータ局所性(SDL)と呼ぶでのみ利用されてきた。結果として,データの局所性の利点は完全には実現されていない。データは後期段階における局所性を最大化するために予め配置し,深いデータ局所性(DDL)と呼ばれる新しい概念を検討した。より強い遅延ロックループ(DLL)を達成に向けて,限定されたノードブロック配置政策(LNBPP)と呼ばれる新しいブロック配置パラダイムを導入した。従来のデフォルトブロック配置政策(DBPP)では,データブロックをランダムに,利用可能なスレーブノード上に置かれた,RLM(ラック局所地図)ブロックのコピーを必要としている。一方,LNBPPはRLMsを回避するためにブロックを置く,ブロック複写時間を減少させた。RLMなし容器は,より一貫した実行時間を持ち,マルチコアノード上の個々のコアに配属された時,それらはDBPP下で容器よりもまとめて迅速な作業を終了する。LNBPPも小さい多数のノード(従って,限定されたノード)にブロックを再構成し,ノード間のデータ転送時間を短縮した。これらの戦略は,マップとシャッフルの著しい性能改善をもたらす。著者らの試験結果は,マップとシャッフルの実行時間は,それぞれ33%と44%まで改善されたことを示した。本論文では,単純な計算モデルを用いたHadoopのMapReduceワークフローを記述し,各段階における現在の研究方向を提案した。TripAdvisorから顧客レビューデータとDBPPにおけるブロック配置状態とRLM位置を解析し,種々のサイズのデータをTerasortベンチマークを実行することにより性能を測定した。DBPPとLNBPPの性能を比較した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】
