文献

J-GLOBAL ID：201702291010901623   整理番号：17A0695450

Cgroupsを利用したHadoopにおける落ちこぼれタスクのリソース制限による再現

著者 (3件)： 岩井良成 (北大 大学院情報科学研究科) ,  杉木章義 (北大 情報基盤セ) ,  棟朝雅晴 (北大 情報基盤セ)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2017  号： OS-140  ページ： Vol.2017-OS-140,No.13,1-6 (WEB ONLY)  発行年： 2017年05月09日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本研究では,Hadoopにおいて著しく実行時間が長いタスク,落ちこぼれタスク(Straggling Tasks)を再現するフレームワークを提案する。本研究では,落ちこぼれタスクのうち,リソース制限により再現可能であるものを対象とする。リソース制限には,Dockerコンテナとcgroupsを活用し,犠牲となるMap/Reduceタスクを確率的に選択し,これらのリソース使用量を一定以下に制限することで実現した。実験では,HiBenchベンチマークを活用し,再現する落ちこぼれタスクの割合と,リソース制限量を変化させることで,Hadoopジョブ全体の実行が落ちこぼれタスクにより遅延することを確認した。(著者抄録)

シソーラス用語： *分散処理 ,  *並列処理 ,  ソフトウェア ,  大規模系 ,  フレームワーク【ソフトウェア開発】 ,  ベンチマーク ,  スケジューリング ,  応用プログラム ,  資源管理 ,  Linux ,  *計算機リソース管理 ,  Hadoop ,  タスクスケジューリング
準シソーラス用語： MapReduce ,  リソーススケジューリング ,  計算機資源管理 ,  並列分散処理

分類 (1件)： オペレーティングシステム  (JD03020J)

引用文献 (13件)：

• The Apache Software Foundation: Apache Hadoop.
• Dean, J. and Ghemawat, S.: MapReduce: Simplified Data Processing on Large Clusters, USENIX OSDI’04, Berkeley, CA, USA, pp. 10-10 (2004).
• Zhang, Q., Zhani, M. F., Yang, Y., Boutaba, R. and Wong, B.: PRISM: Fine-grained Resource-aware Scheduling for MapReduce, IEEE Trans. on Cloud Computing, Vol. 3, No. 2, pp. 182-194 (2015).
• Chen, Q., Liu, C. and Xiao, Z.: Improving MapReduce Performance using Smart Speculative Execution Strategy, IEEE Trans. on Computers, Vol. 63, No. 4, pp. 954-967 (2014).
• Yu, Z., Li, M., Yang, X., Zhao, H. and Li, X.: Taming Non-local Stragglers Using Efficient Prefetching in MapReduce, IEEE Cluster’15, pp. 52-61 (2015).

タイトルに関連する用語 (4件)： Hadoop ,  タスク ,  リソース ,  制限