文献

J-GLOBAL ID：202202229994626922   整理番号：22A1059207

ログファイル解析に基づくHadoopにおけるジョブ故障予測【JST・京大機械翻訳】

Job failure prediction in Hadoop based on log file analysis

著者 (2件)： Shirzad Ehsan (Faculty of Electrical and Computer Engineering, University of Birjand, Birjand, Iran) ,  Saadatfar Hamid (Department of Computer Engineering, Faculty of Electrical and Computer Engineering, University of Birjand, Birjand, Iran)
資料名： International Journal of Computers & Applications  (International Journal of Computers & Applications)
巻： 44  号： 3  ページ： 260-269  発行年： 2022年 
JST資料番号： T0481A  ISSN： 1206-212X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： HadoopはMapReduceプログラミングモデルに基づくポピュラーなフレームワークであり,様々な数のコンピュータノードを持つクラスタにわたる大きなデータセットの分散処理を可能にする。動的計算環境のように,Hadoopにはいくつかの問題があり,その1つはMapReduceジョブの失敗実行である。ジョブ故障は,重要な資源浪費,性能劣化,およびユーザ不満足を引き起こす。したがって,前向きおよび予測的管理アプローチは,Hadoopシステムにおいて非常に有用である。本論文では,そのログファイルを用いて,OpenCloud HadoopクラスタにおけるMapReduceジョブの曖昧さを予測することを試みた。OpenCloudは,大きなデータを処理するためにHadoopを使用するCMUの並列データLabによって管理された研究クラスタである。最初に,ログファイルを研究して,予測プロセスのための有効特性を発見するために,ジョブ,資源,および作業負荷特性と故障の間の関係を分析した。ジョブ故障パターンを認識した後に,いくつかの一般的な機械学習アルゴリズムを採用して,実行を開始する前にジョブの成功/故障状態を予測した。最終的に,学習法を比較し,C5.0アルゴリズムが91.37%の精度,74.43%の再現,および80.31%の精度で最良の結果を持つことを示した。Please refer to the publisher for the copyright holders. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  学習 ,  *故障 ,  作業負荷 ,  データ ,  *大規模系 ,  クラスタ ,  応用プログラム ,  *ソフトウェア ,  分散処理 ,  コンピュータ ,  学習アルゴリズム ,  データマイニング ,  フレームワーク【ソフトウェア開発】
準シソーラス用語： プログラミングモデル ,  故障予知 ,  *Hadoop ,  MapReduce , 【Automatic Indexing@JST】

著者キーワード (6件)： Hadoop ,  MapReduceジョブ ,  クラスタ作業負荷 ,  故障予測 ,  データマイニング ,  ログファイル

分類 (3件)： データベースシステム  (JD03030U) ,  計算機システム開発  (JD02010R) ,  ディジタル計算機方式一般  (JC02010O)

タイトルに関連する用語 (4件)： ログファイル ,  解析 ,  Hadoop ,  故障予測