文献

J-GLOBAL ID：201802282267448763   整理番号：18A1681893

異種クラスタ上のHadoop糸におけるMapReduceスケジューリングについて【JST・京大機械翻訳】

On MapReduce Scheduling in Hadoop Yarn on Heterogeneous Clusters

著者 (6件)： Wang Meng ,  Wu Chase Q. ,  Cao Huiyan ,  Liu Yang ,  Wang Yongqiang ,  Hou Aiqin
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2018  号： TrustCom/BigDataSE  ページ： 1747-1754  発行年： 2018年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： Hadoopは,様々なドメインにおける大規模データ処理に広く用いられている分散コンピューティングシステムである。データ量が急速に増加し続けているので,Hadoopシステムは多くの大規模データ応用の成功に対する重要な寄与者になっている。MapReduceスケジューラはHadoopクラスタの全体性能を決定する重要な要素である。本論文では,MapReduceジョブのバッチの完了時間を最小化するために,不均一Hadoopクラスタにおけるタスクスケジューリング問題を定式化し検討した。最初に,データ伝送時間と全体的ジョブ完了時間を低減するために,ノード上に対応するデータブロックを配置するために使用されるタスクの終了時間を予測するための予測モデルを設計した。この予測モデルに基づいて,著者らは,TMSSAと呼ばれるタスクマッチングベースのスケジューリングアルゴリズムを提案し,クラスタにおける各ノードのリアルタイム性能とノードとタスク間のマッチング度を考慮することにより,Hadoopにおけるタスク待ち行列のタスクをスケジュール化した。実験結果は,予測モデルが高い精度を達成して,TMSAが既存のスケジューラと比較してMapReduceジョブのバッチの完了時間を著しく減らすことを示した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *スケジューリング ,  マッチング ,  高速度 ,  定式化 ,  待ち行列 ,  *クラスタ ,  分散処理 ,  予測モデル
準シソーラス用語： 実時間 ,  スケジューリングアルゴリズム ,  タスクスケジューリング ,  スケジューラ ,  大規模データ ,  *MapReduce ,  *Hadoop , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： クラスタ ,  Hadoop ,  MapReduce ,  スケジューリング