典型文献
基于EHDFS的海量小文件存储与检索方法
文献摘要：
为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案.存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销.检索阶段,改进MapFile映射关系结构、索引存储位置与组成元素以建立新的文件索引模型,避免跨跃式文件搜索,实现小文件的集中检索.实验结果表明,对比多种大数据存储模型,在不同数据量的分组压力测试下,该方案有效提高了HDFS的存取效率.
文献关键词：
海量小文件;EHDFS架构;最优化合并存储模型;MapFile映射关系结构;文件索引模型
中图分类号：
作者姓名：
李文武;张建锋;王景林
作者机构：
西北农林科技大学 信息工程学院,陕西 杨凌 712100
文献出处：
引用格式：
[1]李文武;张建锋;王景林-.基于EHDFS的海量小文件存储与检索方法)[J].计算机工程与设计,2022(02):376-383
A类：
EHDFS,海量小文件,DataNode,NameNode,MapFile,文件索引模型,最优化合并存储模型
B类：
小文件存储,检索方法,多类型,填满,均匀分布,Block,空间利用,开销,映射关系,关系结构,储位,跨跃,大数据存储,数据量,压力测试,存取效率
AB值：
0.201503
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
