一种面向大数据处理的动态缓存替换方法及设备

    公开(公告)号:CN114691302A

    公开(公告)日:2022-07-01

    申请号:CN202210424807.2

    申请日:2022-04-21

    Applicant: 南京大学

    Inventor: 周明贤 钱柱中

    Abstract: 本发明公开了一种面向大数据处理的动态缓存替换方法及设备,方法包括:将大数据处理应用抽象成有向无环图G=(V,E),节点集合V表示大数据处理应用中计算的数据,边集合E表示数据间的依赖关系;基于有向无环图G=(V,E)中包含的数据,以最小化大数据处理应用的整体执行时间为目标建立缓存替换问题数学模型,模型决策每个时刻t的待缓存数据;基于大数据处理特征简化缓存替换问题;基于动态规划思想求解简化后的缓存替换问题。本发明实现了动态适配数据处理过程中的数据访问模式的缓存替换,能够提高内存使用效率,大幅降低大数据处理应用的执行时间。

Patent Agency Ranking