文献

J-GLOBAL ID：201302278305451153   整理番号：13A1888966

Map/Reduceにおけるバケット再グループ化を用いたハイブリッドハッシュ結合アルゴリズム

著者 (3件)： 廣瀬繁雄 (電通大 大学院情報システム学研究科) ,  大森匡 (電通大 大学院情報システム学研究科) ,  新谷隆彦 (電通大 大学院情報システム学研究科)
資料名： 日本データベース学会論文誌  (Journal of the DBSJ)
巻： 12  号： 1  ページ： 61-66  発行年： 2013年06月21日 
JST資料番号： L5754A  ISSN： 1883-1060  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 巨大データの処理に使われ始めているMap/Reduceシステムでは,結合演算に主にHashJoinアルゴリズムが使われているが,十分とは言えない。本稿では,Map/Reduceの上に効率的なn:m結合演算アルゴリズムの実装を行うことを目的に,パーティションの再グループ化による負荷分散を行う方法を提案した。Map/Reduceシステムとしては,その代表であるHadoopを用いた。ビルドフェーズでデータを細かいバケットに分割し,その度数分布からプローブ処理の負荷を推定し,バケットの再グループ化と処理の分散化を決定する機構を採用した。この結果,結合を行う二つのデータ集合に同じ分布の偏りがある場合において,提案方法の有効性を示すことができた。

シソーラス用語： 分散処理 ,  フレームワーク【ソフトウェア開発】 ,  *応用プログラム ,  計算機アルゴリズム ,  *データ ,  データベース ,  *ハッシング
準シソーラス用語： Hadoop MapReduce ,  *MapReduce ,  コンピュータアルゴリズム ,  *ハッシュ法 ,  *大規模データ

分類 (2件)： データベースシステム  (JD03030U) ,  ディジタル計算機方式一般  (JC02010O)

引用文献 (12件)：

• Hadoop. http://hadoop.apache.org/.
• S. Blanas, J. M. Patel, V. Ercegovac, J. Rao, E. J. Shekita, Y. Tian ”A Comparison of Join Algorithms for Log Processing in MapReduce”, ACM SIGMOD, pp.975-986,2010.
• J. Dean and S. Ghemawat. ”MapReduce: Simplified Data Processing on Large Clusters”, OSDI , pages 10- 10, 2004.
• F. N. Afrati , J. D. Ullman. ”Optimizing joins in a mapreduce environment”, EDBT, pp. 99-110, 2010.
• A. Pavlo, E. Paulson, A. Rasin, D. J. Abadi, D. J. De Witt, S. Madden, and M. Stonebraker. ”A comparison of approaches to large-scale data analysis”, SIGMOD, pp.165-178, 2009.

タイトルに関連する用語 (5件)： MAP ,  REDUCE ,  バケット ,  グループ化 ,  アルゴリズム