特許
J-GLOBAL ID:201003016175098488
更新頻度に基づくキャッシュ機構
発明者:
,
,
出願人/特許権者:
代理人 (5件):
上野 剛史
, 太佐 種一
, 市位 嘉宏
, 坂口 博
, 正林 真之
公報種別:公開公報
出願番号(国際出願番号):特願2008-260892
公開番号(公開出願番号):特開2010-092222
出願日: 2008年10月07日
公開日(公表日): 2010年04月22日
要約:
【課題】更新頻度に基づいて、Map-Reduce処理において有効にキャッシュを利用することができるキャッシュ構造を提供すること。【解決手段】複数のデータを分散処理するMap-Reduce処理システムにおいて、キャッシュ機構を構築する方法であって、処理対象である複数のデータを、それらデータそれぞれの更新頻度に基づいて、複数のグループに分けるステップと、複数のグループそれぞれを構成するデータの更新頻度であるデータ更新頻度に基づいて、複数のグループそれぞれの更新頻度であるグループ更新頻度を計算するステップと、複数のグループのうち、グループ更新頻度が閾値以下であるグループに対するMap-Reduce処理段階の部分的結果を生成するステップと、生成された部分的結果をキャッシュするステップ、を含む。【選択図】図2
請求項(抜粋):
Map処理とReduce処理とを実行し、複数のデータを分散処理するMap-Reduce処理システムにおいて、前記Reduce処理のためのキャッシュ機構を構築する方法であって、
前記Map処理の結果に対して前記Reduce処理を部分的に実行し、部分的に処理した結果を段階的に処理するReduceMerge処理を追加した、Map-Reduce-ReduceMerge処理システムにおいて、
前記複数のデータを、前記複数のデータそれぞれの更新頻度であるデータ更新頻度に基づいて、複数のグループに分類するステップと、
前記複数のグループそれぞれを構成するデータの前記データ更新頻度に基づいて、前記複数のグループそれぞれの更新頻度であるグループ更新頻度を計算するステップと、
前記複数のグループのうち、前記グループ更新頻度が予め設定された前記グループ更新頻度の閾値以下であるグループそれぞれに対して前記Map処理を実行して複数のMap結果を生成するステップと、
前記複数のMap結果に対して部分的に前記Reduce処理を実行して、複数の部分的Reduce結果を生成するステップと、
前記複数の部分的Reduce結果に対して前記ReduceMerge処理を段階的に実行し、新たな部分的Reduce結果を生成するステップと、
前記部分的Reduce結果をキャッシュに保存するステップと、
を含む方法。
IPC (1件):
FI (1件):
Fターム (1件):
引用特許:
出願人引用 (1件)
-
検索システム
公報種別:公開公報
出願番号:特願平8-245049
出願人:株式会社東芝
引用文献:
前のページに戻る