文献

J-GLOBAL ID：201702210941131727   整理番号：17A1027439

MRSIM:MapReduce in緩和減速機スキュー【Powered by NICT】

MRSIM: Mitigating Reducer Skew In MapReduce

著者 (6件)： Chen Lei ,  Lu Wei ,  Che Xiaoping ,  Xing Weiwei ,  Wang Liqiang ,  Yang Yong
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： WAINA  ページ： 379-384  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： MapReduceは,データ集約型コンピューティングの分野で一般的なプログラミングモデルとして出現した。これはその単純化された設計,プログラマのための使用の容易さを提供する,Hadoopのようなフレームワークの実装,大きなビジネスと技術会社によって採用されているによるものであった。実用的MapReduceアプリケーションにおける一つの重要な問題は,データスキュー:各タスクに割り当てられたデータ量の不均衡である。これは他のものよりにはるかに長くかかるにいくつかのタスク,性能に大きく影響した。側低減におけるデータスキューのための既存の解決策は,写像関数が始まる前ユーザは,特定の応用のための新しい分割をカスタマイズ,または付加的なサンプリング過程を実行するために必要とするオーバヘッドを増加させた。側低減,本論文で減速機スキューと呼ばれるデータスキューを緩和するために,負荷統計に基づく負荷バランシング戦略,すなわちMRSIMを提案した。還元段階における入力データ分布を得るために,MRSIM統計計算データ,MapReduceにおけるシャッフル段階の完全利用を調製した。全クラスタの負荷をバランスさせるために,MRSIMは再配分重ノードにタスクを減少させるデータ分布に従ってアイドルに変化した。さらに,負荷フィードバック機構を導入することにより,複雑な応用を実行する場合,MRSIMは,クラスタの性能を改善した。糸(Hadoop2.2.0)におけるMRSIMを評価し,実験結果は筆者らのMRSIMは天然Hadoopにおけるデフォルト戦略を凌駕することを示し,実行時間の改善は17%に達した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 負荷分散 ,  *緩和現象 ,  再分布 ,  *減速装置 ,  写像 ,  応用プログラム ,  *ゆがみ ,  カスタム化 ,  簡素化 ,  クラスタ
準シソーラス用語： 実行時間 ,  Hadoop ,  プログラミングモデル ,  データ集約 ,  *MapReduce , 【Automatic Indexing@JST】

分類 (2件)： 計算機システム開発  (JD02010R) ,  ディジタル計算機方式一般  (JC02010O)

タイトルに関連する用語 (4件)： MapReduce ,  緩和 ,  減速機 ,  スキュー