文献

J-GLOBAL ID：201802230128581141   整理番号：18A0407168

動的待ち行列でのHDFS基づく貯蔵小ファイルのための最適化アプローチ【Powered by NICT】

An Optimized Approach for Storing Small Files on HDFS-based on Dynamic Queue

著者 (2件)： Jing Weipeng ,  Tong Danyu
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2016  号： IIKI  ページ： 173-178  発行年： 2016年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ソーシャルネットワークの急速な発展の背景の下で,大量の小さなファイルデータを効果的に処理することが緊急に必要である。残念なことに,HDFS(Hadoop分散ファイルシステム)はNameNode,読み取り性能に重い負担以来の大質量小型ファイルのための性能は良くなかった。したがって,この問題を解決するために,法DQSF(小ファイルの動的待ち行列)を提案した。は異なるサイズのファイル,小ファイルのマージのための基礎としての適切な待ち行列を設計する。解析的階層プロセスに基づく方法。ファイル読み出し,メモリ使用量と合体効率のシステムの包括的指標を計算するときに最良の性能で待ち行列のサイズを得た。対応する範囲の下での動的待ち行列値を意味する。小さなファイルの合併前で周期特徴に基づくテキスト分類アルゴリズムを用いた。同時に階層的指数と指数プリフェッチ機構を介してファイルの速度を向上させた。実験結果は,この戦略がメモリの使用量を削減し,小ファイルへのアクセスの効率を改善し,システムの性能の大きな改善をもたらすことを示した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 高速度 ,  アルゴリズム ,  記憶装置 ,  マージング ,  *最適化 ,  *待ち行列
準シソーラス用語： プリフェッチ ,  テキスト分類 ,  読出し ,  社会的ネットワーク ,  *Hadoop分散ファイルシステム , 【Automatic Indexing@JST】

分類 (2件)： 計算機網  (JC03000K) ,  交通調査  (TB01031B)

タイトルに関連する用語 (5件)： 待ち行列 ,  HDFS ,  貯蔵 ,  ファイル ,  最適化