文献

J-GLOBAL ID：202002214167269036   整理番号：20A1274201

機械学習を用いたHadoop誤構成の予測【JST・京大機械翻訳】

Predicting Hadoop misconfigurations using machine learning

著者 (5件)： Robert Andrew (Center for Cloud Computing and Big Data, Department of Computer Science and Engineering, PES University, Bangalore, India) ,  Gupta Apaar (Center for Cloud Computing and Big Data, Department of Computer Science and Engineering, PES University, Bangalore, India) ,  Shenoy Vinayak (Center for Cloud Computing and Big Data, Department of Computer Science and Engineering, PES University, Bangalore, India) ,  Sitaram Dinkar (Center for Cloud Computing and Big Data, Department of Computer Science and Engineering, PES University, Bangalore, India) ,  Kalambur Subramaniam (Center for Cloud Computing and Big Data, Department of Computer Science and Engineering, PES University, Bangalore, India)
資料名： Software: Practice & Experience  (Software: Practice & Experience)
巻： 50  号： 7  ページ： 1168-1183  発行年： 2020年 
JST資料番号： E0674A  ISSN： 0038-0644  CODEN： SPEXBL  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 分散アプリケーションは,単一マシンの資源が十分でない重い作業負荷のために人気がある。これらの分散アプリケーションは,クラスタ資源が効果的に利用できるように調整するために多くのパラメータを持つ。しかし,利用可能なパラメータのいかなる誤配置も,クラスタにおける1つ以上の機械の準最適性能をもたらす可能性がある。これらのイベントは注目されていないか,衝突をもたらす可能性がある。ミス構成されたパラメータのこの問題は,パラメータの多様性と処理されている非常に異なる作業負荷のために直接的な解を持たない。本論文では,機械学習に基づく誤配置検出法を提案した。決定木とサポートベクトルマシンを用いてモデルを訓練するために,システム資源利用,Hadoopログ,およびジョブレベルメトリックスからマイニングされたデータを収集した。モデルを用いて,一連の構成パラメータが特定の作業負荷に対して衝突または減速をもたらすかどうかを同定した。本論文で説明したアプローチは,Spk,Hibe,Pigなどの他の分散大規模データ応用に拡張することができる。Copyright 2020 Wiley Publishing Japan K.K. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 検出法 ,  クラスタ ,  ディシジョンツリー ,  応用プログラム ,  *機械学習 ,  サポートベクトルマシン
準シソーラス用語： *Hadoop ,  大規模データ , 【Automatic Indexing@JST】

著者キーワード (5件)： ビッグデータ ,  Hadoop ,  機械学習 ,  誤構成 ,  予測

分類 (2件)： 計算機システム開発  (JD02010R) ,  計算機網  (JC03000K)

タイトルに関連する用語 (3件)： 機械学習 ,  Hadoop ,  予測