文献

J-GLOBAL ID：201802244436257681   整理番号：18A1448037

インデックスシフトに基づくMapReduceクラスタリング負荷均衡戦略【JST・京大機械翻訳】

Load Balancing Strategy of MapReduce Clustering Based on Index Shift

著者 (3件)： Zhou Huaping (安徽理工大学計算机科学与工程学院 安徽淮南232000) ,  Liu Guangzong (安徽理工大学計算机科学与工程学院 安徽淮南232000) ,  Zhang Beibei (安徽理工大学計算机科学与工程学院 安徽淮南232000)
資料名： Jisuanji Kexue  (Jisuanji Kexue)
巻： 45  号： 5  ページ： 303-309  発行年： 2018年 
JST資料番号： C2530A  ISSN： 1002-137X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 中国 (CHN)  言語： 中国語 (ZH)

抄録/ポイント： MapReduceは一種の分散プログラミングモデルとして、大規模と高次元データセットの処理に広く応用されている。オリジナルのハッシュ関数を用いてデータを分割し,データの分布が不均一であるとき,データ傾斜の問題が生じる。MapReduceに基づくクラスタリングアルゴリズムは,各段階のReduceの入力データの分布を数回繰り返して,不明確で,データの傾斜を解決する既存の方法には適していない...............................データ分割の不均衡問題を解決するために,データ傾斜があるときの残留分割インデックスの変更の戦略を提案する。Map操作の過程で,この方式は各reducerのデータ量に分割される。次に,JobTrackcrによってグローバル区域情報を監視して,データ傾斜モデルに従って,元の区域機能を動的に修正した。次のパーティション過程において、Partionerは傾斜の分域インデックスを他の負荷の軽いreducerに引き起こし、各ノードの負荷を均衡させる。Zipf分布データセットと実データセットに基づいて,提案したアルゴリズムを既存のデータ傾斜法と比較した。提案手法はMapReduceクラスタリングにおけるデータ傾斜問題を解決し、安定性と実行時間において、Hashとサンプリングに基づく動的分割法より優れている。Data from Wanfang. Translated by JST.【JST・京大機械翻訳】

シソーラス用語： 分割法 ,  傾斜法 ,  アルゴリズム ,  分域 ,  *負荷分散 ,  間仕切壁 ,  *クラスタ化 ,  モデル ,  ハッシュ関数
準シソーラス用語： 実行時間 ,  データ量 ,  不均衡 ,  入力データ ,  クラスタリングアルゴリズム ,  *MapReduce , 【Automatic Indexing@JST】

著者キーワード (5件)： MapReduce ,  Data skew ,  Load balance ,  Distributed clustering ,  Index shift

分類 (3件)： 人工知能  (JE08000Z) ,  その他の情報工学基礎理論  (JB06000C) ,  計算理論  (JB02000A)

タイトルに関連する用語 (6件)： インデックス ,  シフト ,  MapReduce ,  クラスタリング ,  負荷均衡 ,  戦略