公开(公告)号：CN108416054B

公开(公告)日：2021-10-22

申请号：CN201810228575.7

申请日：2018-03-20

Applicant: 东北大学

Inventor： 代钰 ,  杨雷 ,  化红翠 ,  王际烽 ,  张斌

IPC: G06F16/182 ,  G06F16/13 ,  G06F16/17

Abstract: 本发明提供一种基于文件访问热度的动态HDFS副本个数计算方法，涉及数据分析技术领域。基于文件访问热度的动态HDFS副本个数计算方法，首先通过改进的马尔可夫模型分析得到热点文件的访问热度随时间变化的规律，并根据文件访问热度的计算公式，对文件的访问热度进行预测。然后采用排队论算法，给出副本个数的计算公式，动态调整热点文件的副本个数。本发明提供的基于文件访问热度的动态HDFS副本个数计算方法，解决了对热点文件的访问瓶颈的问题，提高了集群的服务效率。

公开(公告)号：CN108416054A

公开(公告)日：2018-08-17

申请号：CN201810228575.7

申请日：2018-03-20

Applicant: 东北大学

Inventor： 代钰 ,  杨雷 ,  化红翠 ,  王际烽 ,  张斌

IPC: G06F17/30

Abstract: 本发明提供一种基于文件访问热度的动态HDFS副本个数计算方法，涉及数据分析技术领域。基于文件访问热度的动态HDFS副本个数计算方法，首先通过改进的马尔可夫模型分析得到热点文件的访问热度随时间变化的规律，并根据文件访问热度的计算公式，对文件的访问热度进行预测。然后采用排队论算法，给出副本个数的计算公式，动态调整热点文件的副本个数。本发明提供的基于文件访问热度的动态HDFS副本个数计算方法，解决了对热点文件的访问瓶颈的问题，提高了集群的服务效率。