大数据流处理方法、设备和存储介质

    公开(公告)号:CN119544547A

    公开(公告)日:2025-02-28

    申请号:CN202411613983.6

    申请日:2024-11-12

    Abstract: 本申请涉及大数据技术领域,提供了大数据流处理方法,该方法包括:判断目标数据流是否为大数据流中的活跃数据流;若目标数据流为大数据流中的非活跃数据流,则标记非活跃数据流;若目标数据流为大数据流中的活跃数据流,则判断活跃数据流是否为持久的活跃数据流:若活跃数据流为持久的活跃数据流,则存储并标记持久的活跃数据流;若活跃数据流为非持久的活跃数据流,则暂存并将非持久的活跃数据流标记为临时活跃数据流。本申请的技术方案可以减少对计算资源的无效消耗,提升数据处理的初步筛选效率和业务决策的科学性。

    大流检测的数据处理方法、系统及存储介质

    公开(公告)号:CN118535569A

    公开(公告)日:2024-08-23

    申请号:CN202410414885.3

    申请日:2024-04-08

    Abstract: 本发明提供了一种大流检测的数据处理方法、系统及存储介质,建立数据存储结构步骤:构建数据存储结构,数据存储结构由W个哈希表组成,每个哈希表包含N个哈希桶,总共有W*N个哈希桶,每个哈希桶中包含多个计数器和条目,每条流的指纹信息和计数器信息存储在某个哈希表的某个哈希桶的条目中。本发明的有益效果是:本发明克服了现有技术的一些缺陷,并在存储空间利用率、删除元素的准确性、大流检测能力、吞吐量和适应性等方面实现了显著的改进和优化。

Patent Agency Ranking