大数据平台下基于类型的小文件合并方法
来源期刊:软件工程2020年第10期
论文作者:秦加伟 刘辉 方木云
文章页码:12 - 25
关键词:HDSF;HashMap;索引;合并;缓存;
摘 要:Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。
秦加伟,刘辉,方木云
安徽工业大学计算机科学与技术学院
摘 要:Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。
关键词:HDSF;HashMap;索引;合并;缓存;