一种任务驱动的海量网络日志高效筛选分发方法及装置

    公开(公告)号:CN119106014A

    公开(公告)日:2024-12-10

    申请号:CN202411006526.0

    申请日:2024-07-25

    Abstract: 本发明是有关于一种任务驱动的海量网络日志高效筛选分发方法及装置,针对超大规模网络日志数据筛选分发存在的性能瓶颈问题,提出了一种多任务高效并行筛选和分发的创新方案。该方案聚焦于网络日志数据的智能化筛选与灵活分发,旨在整合共性计算需求、消除重复运算、优化资源配置、提升任务并发处理能力。具体实施中,本发明通过分解与合并跨任务日志筛选逻辑,结合常驻实时数据筛选与周期性离线筛选任务,系统性地完成了数据的精细化按需筛选、字段富化、数据分级和历史数据预存储,从而能够根据上层业务的实际需求,为不同任务动态且精准地分发合适的数据,为网络威胁监测、流量行为分析等应用提供数据支撑。

    基于可控工作流的分布式网络测量任务编排方法及系统

    公开(公告)号:CN113328912A

    公开(公告)日:2021-08-31

    申请号:CN202110589996.4

    申请日:2021-05-28

    Abstract: 本发明公开一种基于可控工作流的分布式网络测量任务编排方法及系统,首先通过可视化操作界面对特定业务需求的测量任务工作流模板进行编辑,然后随着任务工作流模板的启动,系统会自动将模板任务以邻接存储方式录入至数据库,同时利用JAVA多线程完成测量任务的后台控制,并采用HTTPS/FTPS等加密通信方式与测量代理服务之间实现任务的分发和结果的回收。本发明基于这种可控的自动化工作流程,能够更加准确和灵活地进行不同业务的网络测量,提升测量任务执行的效率。

    一种IP地址备案信息核查方法及系统

    公开(公告)号:CN102332993B

    公开(公告)日:2014-05-14

    申请号:CN201110280670.X

    申请日:2011-09-21

    Abstract: 本发明公开了一种IP地址备案信息核查方法,包括如下步骤:内联性核查步骤,该步骤用于核查同一个IP地址报备单位上报的来源信息和分配信息之间的关联性;临界性核查步骤,该步骤用于核查两个相邻IP地址报备单位之间的IP地址分配关系;独立性核查步骤,该步骤用于核查IP地址备案信息的独立性,包括核查使用信息、来源信息和分配信息的独立性。采用本发明方法能够对IP地址备案信息进行有效核查,发现其中可能存在的数据错报、漏洞等问题。本发明还相应提供了一种IP地址备案信息核查系统,包括内联性核查模块、临界性核查模块和独立性核查模块。

Patent Agency Ranking