公开(公告)号：CN112148681A

公开(公告)日：2020-12-29

申请号：CN202011103769.8

申请日：2020-10-15

Applicant: 南京邮电大学

Inventor： 李鹏 ,  张迅 ,  王汝传 ,  徐鹤 ,  朱枫 ,  程海涛 ,  孙佳杰 ,  鲁意

IPC: G06F16/13 ,  G06F16/16 ,  G06F16/172 ,  G06F16/182 ,  G06F12/0862 ,  G06F12/123 ,  G06F12/126

Abstract: 一种基于分布式文件系统HDFS的小文件存取优化方法，本该方法在传统HDFS架构之上添加新型的文件处理层。该文件处理层主要功能是提供小文件元数据索引、小文件合并、小文件预取和缓存。其中将小文件元素据保存在处理层可以降低HDFS集群内存占用和负载。小文件合并和预取方案的提出可以减少文件处理层带来的通信效率下降问题，增强小文件的读写性能。