文献

J-GLOBAL ID：201202213415480351   整理番号：12A1209451

WAN環境におけるHadoop高速化に関する一考察

A Study about Hadoop Throughput Improvement Technique over WAN

著者 (2件)： 宮前剛 (富士通研) ,  武藤亮一 (富士通研)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 112  号： 134(IN2012 33-48)  ページ： 55-60  発行年： 2012年07月12日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,世界中で日々膨大な量のデータが蓄積されるようになった。そのため,Hadoop等の大規模データ解析の分野において,今後,WANに分散した全てのデータを一箇所のデータセンタへ集約することが困難になり,データをWAN上に分散させたまま広域でジョブを実行せざるを得なくなる可能性がある。しかし,広域向けに最適化したトランスポートプロトコルを利用する方式では既存のファイアウォールを利用できないデメリットが存在するため,一般的なトランスポートプロトコルであるTCPのWAN環境において性能劣化なくHadoopを実行させる必要がある。われわれの評価系においては,チューニング効果の一例としてソケットバッファやインタフェースキュー長,HDFSのブロックサイズを拡張した結果,パケットロス率がない条件であれば広域でのHadoopジョブのShuffleフェーズのスループットが8.7倍改善し,WAN環境における性能劣化を小さく抑えることができた。(著者抄録)

シソーラス用語： *WAN【通信】 ,  データ蓄積 ,  *データセンタ ,  プロトコル ,  ファイアウォール ,  伝送品質 ,  同調 ,  分散処理 ,  スループット ,  インタフェイス ,  長さ
準シソーラス用語： キュー ,  *トランスポートプロトコル ,  *パケットロス率 ,  ブロックサイズ

分類 (1件)： 通信網  (ND07030A)

引用文献 (4件)：

• YUNHONG, Gu. Sector and Sphere : the design and implementation of a high-performance data cloud. Phil. Trans. R. Soc. A. 2009, 367, 1897, 2429-2445
• YUNHONG, Gu. UDT : UDP-based data transfer for hign-speed wide area netrworks. Computer Networks. 2007, 51, 7, 1777-1799
• ANDREA, MATSUNAGA. CloudBLAST : Combining MapReduce and Virtualization on Distributed Resources for Bioinformatics Applications. IEEE eSciece '08, Dec. 2008, 222-229
• 高野了成. HPCユーザが知っておきたいTCP/IPの話. SACSIS2009チュートリアル, May. 2009

タイトルに関連する用語 (4件)： WAN ,  環境 ,  Hadoop ,  高速化