文献

J-GLOBAL ID：201702219695614905   整理番号：17A0077408

MAPREDUCEに基づくデータ傾斜接続アルゴリズム【JST・京大機械翻訳】

Join Algorithm in Skewed Datasets Based on MapReduce

著者 (2件)： Liang Junjie (School of Computer Science and Information Engineering,Hubei University) ,  He Limin (School of Computer Science and Information Engineering,Hubei University)
資料名： Jisuanji Kexue  (Jisuanji Kexue)
巻： 43  号： 9  ページ： 27-31  発行年： 2016年 
JST資料番号： C2530A  ISSN： 1002-137X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 中国 (CHN)  言語： 中国語 (ZH)

抄録/ポイント： 接続操作は,大規模データパケットのデータ解析アプリケーションにおいて最も一般的な操作であり,データの傾斜を効果的に処理することができないという問題を解決するために,MAPREDUCEに基づく周波数分類アルゴリズムを提案する。データの集中によって発生した周波数によって,データを3つのタイプに分割して,データの傾斜を除去するために,勾配データに関する分割アルゴリズムと放送アルゴリズムを用いてデータ再分布を実現した。非傾斜データに対してハッシュアルゴリズムを用いてデータ再分布を実現した。再分散したデータは単一ノード内でデータ接続操作を完成でき、MAPREDUCEフレームワークの接続操作の跨節点転送コストを回避した。同時に,各ノードのタスク負荷を効率的にバランスさせ,データの傾斜状態における接続操作の効率を改善した。従来の接続アルゴリズムと比較して,提案したアルゴリズムの有効性と実用性を証明した。Data from the ScienceChina, LCAS. Translated by JST【JST・京大機械翻訳】

シソーラス用語： 応用プログラム ,  再分布 ,  パケット ,  周波数 ,  節点 ,  データ解析 ,  放送 ,  *アルゴリズム
準シソーラス用語： 実用性 ,  分類アルゴリズム ,  大規模データ , 【Automatic Indexing@JST】

著者キーワード (4件)： Data skew ,  MapReduce ,  Join algorithm ,  Load balancing

分類 (1件)： 計算機システム開発  (JD02010R)

タイトルに関連する用語 (2件)： MapReduce ,  アルゴリズム