文献

J-GLOBAL ID：201702285876618578   整理番号：17A1646900

MOSM:Hadoop上での効率的な貯蔵大量小ファイルのためのアプローチ【Powered by NICT】

MOSM: An approach for efficient storing massive small files on Hadoop

著者 (4件)： Wang Kun (Collaborative Innovation Center of Trusted Cyber Communications, Beijing University of Posts and Telecommunications, Beijing, China) ,  Yang Yang (Collaborative Innovation Center of Trusted Cyber Communications, Beijing University of Posts and Telecommunications, Beijing, China) ,  Qiu Xuesong (Collaborative Innovation Center of Trusted Cyber Communications, Beijing University of Posts and Telecommunications, Beijing, China) ,  Gao Zhipeng (Collaborative Innovation Center of Trusted Cyber Communications, Beijing University of Posts and Telecommunications, Beijing, China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ICBDA  ページ： 397-401  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： その高い拡張性と高信頼性から恩恵を受けて,Hadoopは現在一般的なビッグデータ処理プラットフォームとなっている。Hadoopのコアの一つであるHadoop分散ファイルシステム(HDFS)は,大規模ファイルを貯蔵できる。HDFSに蓄積された大量の小さなファイルはNameNode記憶とアクセス性能のボトルネックに起因した「小さなファイル問題」を引き起こす。大量の小さなファイルを保存するための欠陥を解決するために,マルチレベル最適化貯蔵法(MOSM),小ファイルの貯蔵プロセスを最適化を提案した。小ファイルを融合NameNodeのメモリ利用を低減するための大規模ファイルにアルゴリズムを用いた。融合後,効率的なハイブリッド指数戦略と小さなファイルアクセスの速度を改善するためにプリフェッチキャッシュ機構を設計した。実験結果はMOSMであるNameNodeの負荷を効果的に減少させると多数の小さなファイルを格納するためのHadoopクラスタの能力を改善できることを示した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 記憶装置 ,  アルゴリズム ,  *最適化 ,  クラスタ
準シソーラス用語： ファイルアクセス ,  マルチレベル ,  Hadoop分散ファイルシステム ,  ビッグデータ ,  高信頼性 ,  *Hadoop , 【Automatic Indexing@JST】

分類 (2件)： 計算機網  (JC03000K) ,  データベースシステム  (JD03030U)

タイトルに関連する用語 (3件)： Hadoop ,  貯蔵 ,  ファイル