文献

J-GLOBAL ID：201902271870370204   整理番号：19A0899062

マイクロバッチモデルの下でのストリーミングと蓄積ビッグデータの間の分散結合処理【JST・京大機械翻訳】

Distributed Join Processing Between Streaming and Stored Big Data Under the Micro-Batch Model

著者 (3件)： Jeon Young-Ho (School of Computer and Information Engineering, Kwangwoon University, Seoul, South Korea) ,  Lee Ki-Hoon (School of Computer and Information Engineering, Kwangwoon University, Seoul, South Korea) ,  Kim Ho-Jun (School of Computer and Information Engineering, Kwangwoon University, Seoul, South Korea)
資料名： IEEE Access  (IEEE Access)
巻： 7  ページ： 34583-34598  発行年： 2019年 
JST資料番号： W2422A  ISSN： 2169-3536  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ストリーミングデータを解釈し,豊かにし,解析するために,ストリームアプリケーションはしばしば外部データベースに保存されたデータにアクセスする。ストリーム処理に関する多くの研究が行われているが,ストリーミングデータと保存データ間の結合についてはほとんど注意が払われていない。本論文では,火花ストリーミングのような最近分散したストリーム処理エンジン(SPEs)のマイクロバッチモデルの下で,結合の分散処理のためのDS結合と呼ばれる包括的な解を提案した。マイクロバッチモデルは,一連の非常に小さいバッチジョブとしてストリーム処理を実行し,記録時間モデルと比較して分散環境においてよりフォールトトレラントである。DS結合は,マイクロバッチを使用することによって,データベースアクセスの数を減少させる。さらに,DS結合は,データシャッフリングを最小化し,分散SPEにおけるキャッシュを管理し,結合処理を並列化し,SPEと外部データベースシステムの間の負荷をバランスさせることにより,結合動作を最適化する。実際と合成データセットを用いた実験結果は,最先端の方法と比較して,DS-結合が,特に大規模データベースに対して,スループットを著しく改善することを示した。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： キャッシュメモリ ,  最適化 ,  フォールトトレランス ,  応用プログラム ,  *ストリーミング ,  データベース ,  スループット ,  分散処理 ,  *ロット
準シソーラス用語： 大規模データベース ,  データベースシステム ,  分散環境 ,  ストリーム処理 ,  ストリーミングデータ ,  *ビッグデータ , 【Automatic Indexing@JST】

分類 (3件)： テレビジョン一般  (ND12031N) ,  計算機網  (JC03000K) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： ストリーミング ,  蓄積 ,  ビッグデータ