メモリ内クラスタ計算プラットフォームにおける高速エラーログ制御法

Saito Ryuichi; Haruyama Shinichiro

文献

J-GLOBAL ID：202002280023341255 整理番号：20A1395612

メモリ内クラスタ計算プラットフォームにおける高速エラーログ制御法

High Speed Error Log Control Method in In-memory Cluster Computing Platform

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=20A1395612&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=20A1395612&from=J-GLOBAL&jstjournalNo=U0109A") }}

著者 (2件)： ,
資料名：
巻： 28 ページ： 310-319(J-STAGE) 発行年： 2020年
JST資料番号： U0109A ISSN： 1882-6652 資料種別：逐次刊行物 (A)
記事区分：原著論文発行国：日本 (JPN) 言語：英語 (EN)

2010年以降,メモリ内クラスタコンピューティングプラットフォームは,企業や研究機関でますます使用され,大量のデータセットを短時間で分析している。これらの方法では,マルチスレッドの実行,複数のノードに分割されたデータセットの割り当て,それらをメモリ内に保存するため,予期しないエラーにより,監視システムのようなコンピュータインフラストラクチャに対し,想定を超える負荷を引き起こす。本研究では,その期間の多数のアプリケーションエラーログの重複を除去し,メモリ内クラスタコンピューティングフレームワーク「Apache Spark」を用いた教師なし学習k-平均法を用いて,メッセージのクラスタリングにより,短期間における状況を理解するために必要な情報のみを管理者に通知する方法を提案した。この方法を実行することにより,従来の手法と比較して,誤差メッセージの重複を平均で93%まで除去できることを示した。さらに,アプリケーション誤りメッセージから有意なメッセージを抽出し,誤差の発生の時間から平均4.2分で管理者を通知する。(翻訳著者抄録)

, , , , , , ,
, , ,

著者キーワード (5件)： , , , ,

計算機システム開発 , システムプログラミング一般

引用文献 (17件)：

[1] Dean, J. and Chemawat, S.: MapReduce: Simplified Data Processing on Large Clusters, OSDI (2004).
[2] Coulouris, G., Dollimore, J., Kindberg, T. and Blair, G.: Distributed Systems: Concepts and Design, 5th Edition, Pearson (2012).
[3] Zaharia, M., Chowdhury, M., Das, T., Dave, A., Ma, J., McCauley, M., Franklin, M.J., Shenker, S. and Stoica, I.: Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing, Research Council of Canada (2011).
[4] Iyer, R.K., Young, L.T. and Iyer, P.V.K.: Automatic Recognition of Intermittent Failures: An Experimental Study of Field Data, IEEE (1990).
[5] Zheng, Z., Lan, Z., Park, B.H. and Geist, A.: System Log Pre-processing to Improve Failure Prediction, pp.572-577, IEEE (2009).

, , , , ,

前のページに戻る