数据平面与控制平面解耦的流量采集控制方法及系统

    公开(公告)号:CN118282853A

    公开(公告)日:2024-07-02

    申请号:CN202410366507.2

    申请日:2024-03-28

    Abstract: 本发明提供了一种数据平面与控制平面解耦的流量采集控制方法及系统,包括:数据平面流量采集模块采集网络流量,完成配置的初始化;内存共享模块建立和管理数据平面和控制平面之间共享内存的机制,两个平面能够传递配置更新指令;数据平面配置更新模块监听来自控制平面的配置更新指令,响应配置更新事件;控制平面配置输入模块提供配置的输入接口,管理员通过接口来管理和更新流量采集器的配置;控制平面与数据平面通讯模块控制信息交换,控制平面发送的配置更新信息通过共享内存传递给数据平面;控制平面配置检查模块对其进行验证和检查,得到正确且可行的配置。本发明实现了流量采集配置的无缝更新,实现了数据流量采集服务的业务连续性。

    自适应的交易行情网络流量解析系统、方法及介质

    公开(公告)号:CN116545893A

    公开(公告)日:2023-08-04

    申请号:CN202310444211.3

    申请日:2023-04-23

    Abstract: 本发明提供了一种自适应的交易行情网络流量解析系统、方法及介质,包括:采集器模块:用于对接带有高精度硬件时间戳的网络镜像流量;消息队列模块:用于传递网络流量数据;计算模块:用于完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;计算控制模块:用于控制计算模块;系统控制模块:用于控制计算模块、消息队列模块和采集器模块,通过各模块的上报数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。本发明通过集中的系统控制模块,来实现各模块间控制平面消息集中管理,利用采集器、消息队列和计算模块的动态变更能力,实现自适应的交易行情网络流量解析能力,可减少人员介入操作。

    一种基于交换机硬件时间戳的实时监控方法和系统

    公开(公告)号:CN113242158A

    公开(公告)日:2021-08-10

    申请号:CN202110507233.0

    申请日:2021-05-10

    Abstract: 本发明提供了一种基于交换机硬件时间戳的实时监控方法及系统,包括:步骤S1:选择并确定网络链路上监控节点;步骤S2:将选择的监控节点的网络数据包接入监控交换机;步骤S3:监控交换机对网络数据包进行硬件时间戳标记并汇总输出转发;步骤S4:监控分析系统的上传模块实时读取并解析监控交换机输出的数据包;步骤S5:监控分析系统的分析模块对读取的数据包进行分析,得到网络链路上全部应用系统的时延和流量情况;步骤S6:监控分析系统的展示模块将分析得到的网络链路上全部应用系统的时延和流量情况进行实时展示。

    基于多并行度下数据流的TCP拼包方法和系统

    公开(公告)号:CN115622944A

    公开(公告)日:2023-01-17

    申请号:CN202211226896.6

    申请日:2022-10-09

    Abstract: 本发明提供了一种基于多并行度下数据流的TCP拼包方法和系统,包括:步骤S1:对于接入的交易数据流,将预设无意义范围内的数据包和非TCP协议数据包进行过滤;步骤S2:采用并行的运算处理方式,将需要拼包的数据分配至同一个分区内;步骤S3:对每个分区内的数据,根据TCP的SEQ号进行排序并去重;步骤S4:对去重排序后的数据,判断当前是否有连续的SEQ序号的不同TCP报文,若存在则判断这些数据包是否符合都是满帧+非满帧的逻辑,当条件都符合时进行拼包,根据SEQ号将连续的数据包内容拼成一个完整的TCP内容。本发明通过满帧非满帧的拼包逻辑以解决数据在网络链路传输中由于MSS限制导致的数据分片问题。

    实时大数据场景中的并行动态消费速率对齐方法及系统

    公开(公告)号:CN118503288A

    公开(公告)日:2024-08-16

    申请号:CN202410569672.8

    申请日:2024-05-09

    Abstract: 本发明提供了一种实时大数据场景中的并行动态消费速率对齐方法和系统,包括:设置动态水位线对齐参数;通过数据源协调器上报时间水位线与计算算子缓存的数据量,得出缓存量大小x与当前数据源算子的时间水位线;选出参数区间中的水位线偏移量Y;接收所有数据源算子的时间水位线,得出最大允许的时间水位线并且下发到各个数据源算子;判断最大允许的时间水位线是否大于当前数据源算子的时间水位线;是,则摄入数据,并在每次自身时间水位线变动时,重新开始判断;否,则停止;重新执行步骤S2至步骤S5,直到对齐完成。本发明通过实时获取系统缓存数据量的大小,动态调整对齐策略参数,系统自动调整参数,提高了系统的容错性和稳定性。

    基于多并行度下数据流的TCP拼包方法和系统

    公开(公告)号:CN115622944B

    公开(公告)日:2024-07-23

    申请号:CN202211226896.6

    申请日:2022-10-09

    Abstract: 本发明提供了一种基于多并行度下数据流的TCP拼包方法和系统,包括:步骤S1:对于接入的交易数据流,将预设无意义范围内的数据包和非TCP协议数据包进行过滤;步骤S2:采用并行的运算处理方式,将需要拼包的数据分配至同一个分区内;步骤S3:对每个分区内的数据,根据TCP的SEQ号进行排序并去重;步骤S4:对去重排序后的数据,判断当前是否有连续的SEQ序号的不同TCP报文,若存在则判断这些数据包是否符合都是满帧+非满帧的逻辑,当条件都符合时进行拼包,根据SEQ号将连续的数据包内容拼成一个完整的TCP内容。本发明通过满帧非满帧的拼包逻辑以解决数据在网络链路传输中由于MSS限制导致的数据分片问题。

Patent Agency Ranking