文献

J-GLOBAL ID：201002230174974169   整理番号：10A0102309

MapReduce:柔軟なデータプロセッシングツール

MapReduce: A Flexible Data Processing Tool

著者 (2件)： DEAN Jeffrey (Google, CA) ,  GHEMAWAT Sanjay (Google, CA)
資料名： Communications of the ACM (Association for Computing Machinery)  (Communications of the ACM (Association for Computing Machinery))
巻： 53  号： 1  ページ： 72-77  発行年： 2010年01月 
JST資料番号： B0330B  ISSN： 0001-0782  CODEN： CACMA  資料種別： 逐次刊行物 (A)
記事区分： 文献レビュー  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： MAPREDUCEは大規模データセットの処理と生成のためのプログラミングモデルである。ユーザはkey/value対を処理して中間的なkey/value対を生成するmap関数を指定し,生成された中間結果を同一キーでマージするreduce関数を指定する。Googleでは2003年にこのプログラミングモデルに基づくシステムを構築し,Google.comにおける探索処理のためのインバーテッドインデックス構築を単純化した。それ以来,10,000個以上のプログラムがGoogleにおいて作成された。大規模グラフ処理,文章処理,機械学習,統計的機械翻訳等々である。本稿では,MapReduceを紹介しながら,いくつかの事項について議論した。並列データベースとの比較,ヘテロジニアスシステムでの使用,インデックス機能と性能,複雑な関数,フォールトトレランス,性能面である。MapReduceの比較論文では誤った仮定の基に比較が行われている。Googleでの経験では,MapReduceは大規模フォールトトレラントデータ解析の効率的なツールであることが立証されている。しかし,比較論文から,いくつかの指摘された注意点や問題点も明らかとなっている。

シソーラス用語： *計算機システム開発 ,  *データベース ,  データ処理システム ,  柔軟性 ,  大規模系 ,  計算機プログラミング ,  マージング ,  情報検索 ,  Web【情報システム】 ,  ブラウジング ,  インデクシング【計算機】 ,  並列処理 ,  データベース管理システム ,  フォールトトレランス ,  データセット
準シソーラス用語： Google ,  インデックス作成 ,  プログラミングモデル ,  マージ

分類 (2件)： 計算機システム開発  (JD02010R) ,  データベースシステム  (JD03030U)

タイトルに関連する用語 (3件)： MapReduce ,  データプロセッシング ,  ツール