文献

J-GLOBAL ID：201402298330246511   整理番号：13A1961812

連続データに柔軟な大規模計算基盤

A Design of Scalable Computing Platform for Continuous Data

著者 (4件)： 水谷后宏 (NTT未来ねっと研究所) ,  間野暢 (NTT未来ねっと研究所) ,  明石修 (NTT未来ねっと研究所) ,  福田健介 (国立情報学研究所)
資料名： コンピュータソフトウェア  (Computer Software)
巻： 30  号： 2  ページ： 2.101-2.118 (J-STAGE)  発行年： 2013年 
JST資料番号： Y0628A  ISSN： 0289-6540  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,時系列データや地理位置データといった連続データの管理・解析手法が注目を浴びている.これらの連続データは,分散環境上で膨大に生成されることが想定され,オーバレイネットワークなどに代表される分散ストレージ上で管理されるようになった.一方で,蓄積した連続データを解析する手法としてMapReduceを用いた手法が提案されている.しかし,分散ストレージ上の連続データに対してMapReduce処理を行う際,データの連続性や局所性により,特定のノード(計算機)に偏ってReduce処理が割り当てられ,Shuffle処理にて膨大なトラヒックが発生することがある.また,刻々と蓄積されていく連続データに対して,MapReduce処理の同期をとることも難しい.本提案基盤は,連続データに対して非同期かつ,並列性の高いMapReduce処理を達成する.具体的には,分散ストレージに対してSkipListを改良した平衡木構造を適用し,ノード間で親子関係を構築させる.構築した親子関係を用いて,各ノードが自身の子ノードのShuffle処理やReduce処理の結果を集約したり,Map処理とReduce処理の同期,および生存管理を行うことで,MapReduce処理の同期を細分化する.さらに,木構造の特性を生かし,各ノードの負荷情報を集約し,ノード間の負荷を均一にする.これにより,各ノードの計算量を平滑化できるためMapReduce処理の並列性を向上させる.(著者抄録)

シソーラス用語： *データ ,  環境 ,  通信網 ,  *記憶方式 ,  フレームワーク【ソフトウェア開発】 ,  応用プログラム ,  連続性 ,  局所性 ,  *通信信号 ,  木構造 ,  ネットワークアーキテクチャ ,  大規模 ,  方式 ,  性質
準シソーラス用語： MapReduce ,  オーバレイネットワーク ,  *トラヒック【通信】 ,  ノード【通信】 ,  *時系列データ ,  *分散ストレージ ,  分散環境 ,  並列性【計算機処理】

分類 (2件)： データベースシステム  (JD03030U) ,  計算機ソフトウエア一般  (JD01010K)

タイトルに関連する用語 (2件)： 大規模計算 ,  基盤