首页 > 《科学与技术》 > 2022年16期 > 基于Hadoop的小文件存储的研究

基于Hadoop的小文件存储的研究

在线阅读下载PDF 导出详情

摘要摘要：随着信息化的发展，各行业需要处理的数据呈爆炸式增长。Hadoop分布式存储框架对较大文件提供了可靠高效的存储服务，但在处理海量小文件时效率显著降低。因此，本文提出了基于Hadoop的小文件存储优化的研究，通过Apriori算法挖掘出各小文件之间的关联性，将具有关联性的小文件进行合并装箱降低NameNode内存开销来提高文件的存储效率。实验结果表明，该方法提高了Hadoop文件系统存储小文件的存储效率。

DOI rdx6o501dl/6735273

作者尹铁源张超凯

机构地区沈阳工业大学信息科学与工程学院辽宁沈阳 110870

出处《科学与技术》 2022年16期

关键词小文件 Hadoop Apriori算法

分类 [建筑科学][建筑技术科学]

出版日期 2023年01月07日（中国期刊网平台首次上网日期，不代表论文的发表时间）