文献

J-GLOBAL ID：201702272760337498   整理番号：17A1569248

DEPS:スパークに基づく分散型FP成長アルゴリズム【Powered by NICT】

DFPS: Distributed FP-growth algorithm based on Spark

著者 (3件)： Shi Xiujin (CST, Donghua University, Songjiang district, Shanghai, China) ,  Chen Shaozong (CST, Donghua University, Songjiang district, Shanghai, China) ,  Yang Hui (CST, Donghua University, Songjiang district, Shanghai, China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： IAEAC  ページ： 1725-1731  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 頻出アイテム集合マイニング(FIM)は,相関ルールマイニングの最も重要で時間のかかるステップである。データスケールの増加に伴い,FP成長とAprioriなど,FIMの多くの効率的な単一機械アルゴリズムは妥当な時間内に計算タスクを達成できない。単一機械法の制限の結果として,研究者は,MapReduceと放電に基づくいくつかの分散アルゴリズム,PFPとYAFIMなどを示した。それにもかかわらず,各MapReduce手術での重ディスクI/OコストはPFPをしないほど十分効率的であった。YAFIMは各反復段階における候補頻出アイテム集合を生成する必要がある。YAFIMに時間がかかる。またデータの規模が十分に大きければ,候補頻出アイテム集合はメモリに格納されたされる必要があるので,YAFIMアルゴリズムは,メモリの制限のために機能しないと考える。またアイテム集合候補のサイズが非常に大きい特に大量のデータに直面している。本研究では,放電に基づく分散FP成長アルゴリズムを提案し,著者らは,DEPSと呼ぶ。DFPS分割が各コンピューティングノードは,条件付きFPツリーを構築し,頻出アイテム集合のマイニング独立にパターンフラグメント成長法を採用したように計算課題。DFPSはマイニング頻出アイテム集合中のノード間のメッセージを必要としない。性能研究は,DEPSアルゴリズムであるYAFIMより優れていることを示し,特にトランザクションの長さが長い場合,項目の数が多く,データは質量を持つ。DFPSは優れたスケーラビリティを持っている。実験結果は,DEPSであるT10I4D100KデータセットとPumsb_starデータセットに対してYAFIMより10倍以上速いことを示した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 記憶装置 ,  放電 ,  *アルゴリズム ,  分散アルゴリズム ,  円板
準シソーラス用語： MapReduce , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： スパーク ,  FP ,  成長 ,  アルゴリズム