文献

J-GLOBAL ID：201102244114030666   整理番号：11A0777170

データストリーム処理系System SとHadoopの統合実行環境

著者 (4件)： 松浦紘也 (東京工大) ,  雁瀬優 (東京工大) ,  鈴村豊太郎 (東京工大) ,  鈴村豊太郎 (IBM 東京基礎研)
資料名： 情報処理学会シンポジウム論文集  (情報処理学会ワークショップ論文集)
巻： 2010  号： 13  ページ： 31-38  発行年： 2010年11月22日 
JST資料番号： Y0978B  ISSN： 1344-0640  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,リアルタイム処理の要求や情報爆発に対応する必要性からデータストリーム処理の重要性が非常に高まっている。しかし,データストリーム処理ではメモリ上データのみを参照し逐次処理を行うため,データ全てを参照するような詳細な処理は行えず,必然的に従来型のデータを全て蓄積してから処理を行うという,Hadoopのようなバッチ処理との共存が必要となる。また,データストリーム処理が対象とするアプリケーションでは,負荷が予測不可能に変動するものが多いが,負荷に関わらず応答速度をなるべく低減しなければならない。本論文では,データストリーム処理とHadoopによるバッチ処理を統合実行し,動的負荷分散機構と負荷予測機構によって負荷に応じてそれぞれの処理に適切な計算資源を動的に与えることで,計算機の実行効率の向上とデータストリーム処理の応答速度の向上が可能となるシステムの提案と構築,評価を行った。この統合実行環境により,台数を固定して実行した場合に比べ,データストリーム処理のレイテンシの発散を防ぎつつ,計算環境のCPU使用率を47.77%から72.14%にまで向上させた。(著者抄録)

シソーラス用語： *ストリーミング ,  *ファイルシステム ,  フレームワーク【ソフトウェア開発】 ,  大規模系 ,  分散処理 ,  バッチ処理 ,  *負荷分散 ,  負荷予測 ,  資源割付 ,  高速化 ,  システム評価 ,  待ち時間 ,  性能評価
準シソーラス用語： CPU使用率 ,  *Hadoop ,  *データストリーミング ,  レイテンシ ,  *動的負荷分散

分類 (2件)： その他の情報処理  (JE15050M) ,  オペレーティングシステム  (JD03020J)

タイトルに関連する用語 (4件)： ストリーム処理 ,  Hadoop ,  統合 ,  実行環境