文献

J-GLOBAL ID：201802212813012817   整理番号：18A0872854

学習に基づく容器環境Spark性能モニタリングと分析【JST・京大機械翻訳】

Learning-based performance monitoring and analysis for Spark in container environments

著者 (3件)： Pi Aidi (同済大学計算机科学与技術系,上海201804;嵌入式系統与服務計算教育部重点実験室(同済大学),上海201804) ,  Yu Jian (同済大学計算机科学与技術系,上海201804;嵌入式系統与服務計算教育部重点実験室(同済大学),上海201804) ,  Zhou Xiaobo (同済大学計算机科学与技術系,上海201804;嵌入式系統与服務計算教育部重点実験室(同済大学),上海201804)
資料名： Jisuanji Yingyong  (Jisuanji Yingyong)
巻： 37  号： 12  ページ： 3586-3591  発行年： 2017年 
JST資料番号： C2535A  ISSN： 1001-9081  CODEN： JYIIDU  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 中国 (CHN)  言語： 中国語 (ZH)

抄録/ポイント： Spark計算フレームワークは,ますます多くのデータ分析のフレームワークとして利用され,通常,分散とクラウド環境の中に配置されるので,Sparkフレームワークの性能の監視と性能低下の作業の探索は,非常に難しい問題である。この問題に対して、分散容器環境におけるSpark性能のリアルタイム監視と分析方法を提出した。まず、Sparkにコードを移植し、Docker容器中のAPIファイルをモニタリングし、作業実行時の資源消費情報を取得・統合し、その後、Spark作業履歴情報に基づいて、ガウス混合モデル(GMM)を訓練し、最後に、訓練後のモデルを用いてSpark作業の実行時資源消費情報を分類し、性能低下の作業を招いた。実験結果は,提案した方法が90.2%の異常作業を検出でき,Sparkの作業性能に及ぼす影響はわずか4.7%であることを示した。この方法は,誤りの作業を軽減でき,Sparkの異常作業をより早く発見できる。Data from Wanfang. Translated by JST【JST・京大機械翻訳】

シソーラス用語： モデル ,  *データ解析
準シソーラス用語： Gauss混合モデル ,  リアルタイムモニタリング ,  性能劣化 , 【Automatic Indexing@JST】

著者キーワード (5件)： Spark ,  container ,  distributed monitoring system ,  Gaussian Mixture Model (GMM) ,  machine learning

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： 学習 ,  環境 ,  モニタリング ,  分析