文献

J-GLOBAL ID：201802255928990374   整理番号：18A1365331

ストリーム処理とバッチ処理の統合と実行最適化

Integrating stream and batch processing and its optimization

著者 (3件)： 長裕敏 (筑波大 院システム情報工学研究科) ,  塩川浩昭 (筑波大 計算科学研究セ) ,  北川博之 (筑波大 計算科学研究セ)
資料名： 日本データベース学会和文論文誌(Web)  (DBSJ Japanese Journal (Web))
巻： 16-J  ページ： ROMBUNNO.11 (WEB ONLY)  発行年： 2018年03月 
JST資料番号： U0795A  ISSN： 2189-0374  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： センサーデバイスやソーシャルメディアの発展により,様々な分野で大規模データの利活用に注目が集まっている。大規模データ処理のアプローチとして,データを蓄えて一括で処理するバッチ処理方式とデータを継続的に処理するストリームデータ処理方式がある。近年ではデータ利活用の高度化に伴い両処理方式を合わせて使用する機会は多いが,各処理方式ではデータモデルが異なるため,データを処理する利用者の学習・実装コストは大きく,適切な処理方式を選択するのは困難である。そこで本研究では,両処理をデータフローで統一的に記述できる処理記述法と処理を適切な処理方式で自動実行する処理基盤を提供することで,容易で効率的なデータ処理を実現する。(著者抄録)

シソーラス用語： *データ処理 ,  *バッチ処理 ,  統合 ,  最適化 ,  分散処理 ,  大規模 ,  *データフォーマット ,  記憶管理 ,  加工時間 ,  実験
準シソーラス用語： ストリーム処理 ,  処理時間 ,  評価実験

分類 (1件)： 計算機利用技術一般  (JE01000C)

引用文献 (11件)：

• K. Shvachko, H. Kuang, S. Radia, R Chansler. The Hadoop Distributed File System. In MSST, pages 1-10, 2010.
• M. Zaharia, M. Chowdhury, M. J. Franklin, S. Shenker, and I. Stoica. Spark: cluster computing with working sets. In Hot-Cloud, pages 10-10, 2010.
• A. Toshniwal, S. Taneja, A. Shukla, K. Ramasamy, J. M. Patel, S. Kulkarni, J. Jackson, K. Gade, M. Fu, J. Donham, N. Bhagat, S. Mittal, and D. Ryaboy. Storm at Twitter. In SIGMOD, 2014.
• M. Zaharia, T. Das, H. Li, S. Shenker, and I. Stoica. Discretized streams: an efficient and fault-tolerant model for stream processing on large clusters. In USENIX, pages 10-10. 2012.
• F. Pezoa, J. L. Reutter, F. Suarez, M. Ugarte, and D. Vrgoc. Foundations of JSON Schema. In WWW, pages 263-273, 2016.

タイトルに関連する用語 (4件)： ストリーム処理 ,  バッチ処理 ,  統合 ,  最適化