文献

J-GLOBAL ID：201802247551305229   整理番号：18A0196125

内mapreduceフレームワークのための共同の最適化タスク粒度と並行性【Powered by NICT】

Jointly optimizing task granularity and concurrency for in-memory mapreduce frameworks

著者 (8件)： Bae Jonghyun (Department of Computer Science and Engineering, Seoul National University) ,  Jang Hakbeom (Department of Electrical and Computer Engineering, Sungkyunkwan University) ,  Jin Wenjing (Department of Computer Science and Engineering, Seoul National University) ,  Heo Jun (Department of Computer Science and Engineering, Seoul National University) ,  Jang Jaeyoung (Department of Electrical and Computer Engineering, Sungkyunkwan University) ,  Hwang Joo-Young (Software Development Team, Memory Business, Samsung Electronics Co., Ltd.) ,  Cho Sangyeun (Software Development Team, Memory Business, Samsung Electronics Co., Ltd.) ,  Lee Jae W. (Department of Computer Science and Engineering, Seoul National University)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： Big Data  ページ： 130-140  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： インメモリ・ビッグデータ処理フレームワークは頻繁なデータ再利用を必要とする作業負荷を加速するために,Apache火花と着火のような出現してきた。有効イン-メモリキャッシングにより,これらフレームワークはほとんどのI/O操作の,他の生産者と消費者タスク間の通信のための必要であろうを除去した。しかし,メモリフットプリントは,利用可能なメモリサイズを超え,過剰流出とガーベジコレクション(GC)操作に起因するならば,この性能効果は無効である。記憶におけるワーキングセットに適合させるため,二システムパラメータが重要な役割:タスク粒度を規定するデータ分割(N_partitions)の数,および実行における並列性の程度を記述する各執行当たりタスクの数(N_threads)を果たしている。これらのパラメータを最適化するための既存の手法は,作業負荷特性を考慮に入れ,または分離におけるパラメータの一つだけを最適化し,このようにして準最適性能を生成しなかった。WASP,とした,作業負荷認識タスクスケジューラと分割,実行時に両パラメータを最適化する併用を紹介した。最適設定を見つけるために,WASPは最初に与えられた作業負荷のDAG構造を解析し,解析モデルを用いてその計算型に基づく全段階でN_partitionsとN_threadsの最適設定を予測した。入力としてこのことを,WASPスケジューラは,山登りアルゴリズムを採用している各段階の最適N_threadsを見つけるために,流出データとGCを最小化しながら,並行性を最大化する。火花に及ぼすWASPをプロトタイプと三種類の並列プラットフォーム上での六負荷を用いてそれを評価した。WASPは3.22×まで性能を改善し,クラウド上のクラスタ運転コストを40%まで減少させる,火花調整ガイドライン後ベースラインとシャッフル重とシャッフル光の両方の作業負荷のためのロバストな性能を提供した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： ロバスト性 ,  アルゴリズム ,  *最適化 ,  解析モデル ,  クラスタ ,  消費者 ,  ガーベジコレクション ,  生産者 ,  プロトタイプ
準シソーラス用語： スケジューラ ,  システムパラメータ ,  ワーキングセット ,  Apacheモジュール ,  データ再利用 ,  ビッグデータ , 【Automatic Indexing@JST】

分類 (5件)： 計算機システム開発  (JD02010R) ,  オペレーティングシステム  (JD03020J) ,  記憶方式  (JC02040V) ,  人工知能  (JE08000Z) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (7件)： MapReduce ,  フレームワーク ,  共同 ,  最適化 ,  タスク ,  粒度 ,  並行