文献

J-GLOBAL ID：201302272331274954   整理番号：13A1575904

重複部分木情報を利用した事前圧縮を特徴とするSerDeの開発と評価

著者 (5件)： 中山誠 (NTTドコモ 先進技研) ,  中山誠 (早稲田大) ,  山崎憲一 (芝浦工大) ,  田中聡 (NTTドコモ 先進技研) ,  笠原博徳 (早稲田大)
資料名： 電子情報通信学会論文誌 D  (IEICE Transactions on Information and Systems (Japanese Edition))
巻： J96-D  号： 10  ページ： 2089-2100  発行年： 2013年10月01日 
JST資料番号： S0757C  ISSN： 1880-4535  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ビッグデータを扱うシステムでは,ストレージ資源の節約やI/O負荷の低減のために,Serializer/Deserializer(以下,“SerDe”)が利用される。従来のSerDeは,木構造データをバイト配列へ直列化し,更に既存圧縮技術を適用してデータサイズを縮小する。しかし既存圧縮技術では,大きな部分木単位で重複がある場合や重複した部分木どうしが離れている場合に,その冗長性を十分に利用した圧縮を行えない。そこで我々は,部分木どうしの等値性や重複した部分木の出現回数などの情報を利用した事前圧縮を行うSerDeを開発した。重複した部分木を含む木構造データを扱う場合,従来のSerDeと既存圧縮技術の組合せよりも性能上の優位性を示すことを,その評価結果とともに述べる。(著者抄録)

シソーラス用語： *データ処理 ,  データ ,  *データ圧縮 ,  状態 ,  木構造 ,  木【グラフ】 ,  *大規模 ,  *ビッグデータ
準シソーラス用語： 直列 ,  部分木

分類 (1件)： その他の情報処理  (JE15050M)

引用文献 (24件)：

• J. Dean and S. Ghemawat, “Mapredue: Simplified data processing on large clusters,“ Proc. OSDI '04, vol.6, pp.137-150, 2004.
• J. Dean and S. Ghemawat, “Mapreduce: A flexible data processing tool,“ Commun. ACM, vol.53, Issue 1, pp.72-77, 2010.
• IETF, “Deflate compressed data format specification version 1.3“. http://www.ietf.org/rfc/rfc1951 (参照 2012-07-30).
• bzip.org, “bzip2“. http://www.bzip.org/ (参照 2012-07-30).
• T. White, Hadoop The Definitive Guide, T. White, ed., O'REILLY, 2009.

タイトルに関連する用語 (3件)： 部分木 ,  開発 ,  評価