文献

J-GLOBAL ID：201802281927943559   整理番号：18A0095667

SparkによるMapReduce類似度計算効率最適化【JST・京大機械翻訳】

Efficiency Optimization Method for MapReduce Similarity Computing Based on Spark

著者 (5件)： Liao Bin (新疆財経大学統計与信息学院 烏魯木斉830012) ,  Zhang Tao (新疆大学信息科学与工程学院 烏魯木斉830046;新疆医科大学医学工程技術学院 烏魯木斉830011) ,  Yu Jiong (新疆大学信息科学与工程学院 烏魯木斉830046) ,  Guo Binglei (新疆大学信息科学与工程学院 烏魯木斉830046) ,  Liu Yan (清華大学軟件学院 北京100084)
資料名： Jisuanji Kexue  (Jisuanji Kexue)
巻： 44  号： 8  ページ： 46-53  発行年： 2017年 
JST資料番号： C2530A  ISSN： 1002-137X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 中国 (CHN)  言語： 中国語 (ZH)

抄録/ポイント： インターネットのユーザとコンテンツが指数関数的に増加するにつれて,大規模データの場面における類似性計算は,より効率的に要求されている。アルゴリズムの実行効率を向上させるために,MapReduceアーキテクチャにおけるアルゴリズム実行の欠陥を分析して,反復型と相互作用型タスクの特性に従って,二次元分割アルゴリズムに基づいて,RedReduceプラットフォームからSparkプラットフォームにアルゴリズムを移植した。同時に,パラメータの調整とメモリ最適化を通して,アルゴリズムの実行効率をさらに改善した。2つのデータセットによる3つの異なる規模のクラスタ上の実験結果は,MapReduceと比較して,Sparkプラットフォームにおけるアルゴリズムの平均効率が約4.715倍増加し,平均エネルギー消費効率がHadoopエネルギー消費の24.86%であることを示した。エネルギー消費効率は約4倍増加した。Data from Wanfang. Translated by JST【JST・京大機械翻訳】

シソーラス用語： 計算機アーキテクチャ ,  類似性 ,  インターネット ,  コンテンツ ,  エネルギー効率 ,  エネルギー消費 ,  指数関数 ,  *アルゴリズム ,  二次元 ,  クラスタ
準シソーラス用語： Hadoop ,  メモリ最適化 ,  大規模データ ,  *類似度 ,  *MapReduce , 【Automatic Indexing@JST】

著者キーワード (4件)： Similarity computing ,  MapReduce ,  Spark optimization ,  Energy optimization

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： MapReduce ,  類似度 ,  計算 ,  効率最適化