一种基于因果推理的大数据处理框架配置调优方法、系统

    公开(公告)号:CN119721294A

    公开(公告)日:2025-03-28

    申请号:CN202411799316.1

    申请日:2024-12-09

    Applicant: 安徽大学

    Abstract: 本发明涉及大数据处理技术领域,具体涉及一种基于因果推理的大数据处理框架配置调优方法、系统。本发明公开的方法通过对多个样本数据集进行采集,并采用多种因果结构学习算法对样本数据集进行分析以构建出与数据规模相关的分层因果结构模型,接着将目标规模大小数据纳入考虑范围、并构建出数据规模感知因果结构模型,以给出适应于目标新数据的配置参数集,从而实现针对于目标规模大小来进行适应性配置调优。本发明解决了现有基于因果推理的配置自动调优方法调优效果不佳的问题。

Patent Agency Ranking