一种高并发数据采集场景下的数据熔断控制方法和装置

    公开(公告)号:CN118381714B

    公开(公告)日:2024-11-08

    申请号:CN202410813438.5

    申请日:2024-06-24

    Abstract: 本申请公开了一种高并发数据采集场景下的数据熔断控制方法和装置,属于物联网数据处理技术领域,方法包括:分别构建秒级和分钟级两个粒度的数据处理缓存数据结构,对进入转发或存储模块的数据流量进行存储;基于可用带宽计算每秒数据流量上限值,基于每秒数据流量上限值和不同场景的管控要求分别计算不同设定时间周期的数据处理上限值;基于不同的流量监控定时周期分别从数据处理缓存数据结构处获取对应的缓存数据流量值,将获取的缓存数据流量值分别与数据处理上限值进行比较,判断数据缓存队列是否为空,如果为空,解除超限状态,实时处理全部数据;如果不为空,将全部数据存入数据缓存队列,按照数据处理上限值定时处理数据。

    一种报文拥塞控制方法及装置

    公开(公告)号:CN114189477B

    公开(公告)日:2023-12-26

    申请号:CN202111235650.0

    申请日:2021-10-22

    Inventor: 彭剑远

    Abstract: 本申请涉及网络通信技术领域,特别涉及一种报文拥塞控制方法及装置。该方法应用于智能网卡,所述智能网卡包括用于缓存待处理报文的第一报文缓存区,所述方法包括:接收报文发送方发送的待处理报文;若检测到接收到的待处理报文的总流量大于预设值,则将超过所述预设值的待处理报文缓存至所述第一报文缓存区;向所述报文发送方发送报文阻塞通知,以使得所述报文发送方在接收到所述报文阻塞通知后,降低报文发送速率。

    消息持久化处理方法、装置和存储介质

    公开(公告)号:CN111770030B

    公开(公告)日:2023-08-08

    申请号:CN201910410582.3

    申请日:2019-05-17

    Inventor: 王海

    Abstract: 本发明提供一种消息持久化处理方法、装置和存储介质,该方法为:获取当前可用内存的大小;根据所述当前可用内存的大小,确定缓冲队列的长度;接收请求消息,并根据所述缓冲队列的长度将所述请求消息存入所述缓冲队列;对所述缓冲队列中的所述请求消息执行持久化操作。本发明提供的消息持久化处理方法、装置和存储介质,在对请求消息进行持久化处理的过程中,可以保证数据的不丢失,还可以提高系统的稳定性。

    节点间数据传输方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111131083B

    公开(公告)日:2023-02-28

    申请号:CN201911382416.3

    申请日:2019-12-27

    Inventor: 王淑童

    Abstract: 本发明公开了一种节点间数据传输方法,包括:获取两目标节点间的待传输数据;对各待传输数据进行分类,得到低延时数据组、带宽保证数据组、以及等待传送数据组;将低延时数据组发送到各低延时队列进行传输,并将带宽保证数据组发送到各带宽保证队列进行传输;其中,各低延时队列和各带宽保证队列为通过对两目标节点间的非透明传输桥进行带宽划分得到;判断各低延时队列和/或各带宽保证队列中是否存在空闲带宽;若是,则利用空闲带宽对等待传送数据组进行传输。本发明保证了对数据的正常传输,实现了对非透明传输桥的带宽进行充分利用,较大地提高了数据传输效率。本发明还公开了一种节点间数据传输装置、设备及存储介质,具有相应技术效果。

    一种网络通信方法及装置、存储介质

    公开(公告)号:CN114124850B

    公开(公告)日:2022-07-12

    申请号:CN202210088532.X

    申请日:2022-01-26

    Abstract: 一种网络通信方法及装置、存储介质,所述网络通信方法应用于设置有至少两个接收缓存队列的接收端,所述接收缓存队列包括至少一个缓存单元,至少存在两个接收缓存队列的缓存单元的存储容量不同,所述网络通信方法包括:接收到数据包时,根据所述数据包的长度选择接收缓存队列,将所述数据包存储到被选中的接收缓存队列的缓存单元中,其中,所述接收缓存队列中,所述被选中的接收缓存队列的缓存单元的存储容量大于等于且最接近所述数据包的长度。本实施例提供的方案,提供至少两种存储容量的缓存单元,可以根据数据包长度选择合适的缓存单元进行存储,从而可以充分利用缓存单元的存储空间,避免浪费socket缓存空间,减少丢包。

    报文匹配处理装置及方法

    公开(公告)号:CN114124822A

    公开(公告)日:2022-03-01

    申请号:CN202111447657.9

    申请日:2021-11-29

    Inventor: 程云鹏

    Abstract: 本公开涉及一种报文匹配处理方法、装置、电子设备及计算机可读介质。该方法可用于流量控制设备,包括:获取入端口的报文;对所述报文进行解析生成五元组数据;将所述五元组数据缓存到五元组缓存地址;基于所述五元组数据对所述报文进行五元组规则匹配处理;基于所述五元组缓存地址对所述报文进行入端口规则匹配处理。本申请涉及的报文匹配处理方法、装置、电子设备及计算机可读介质,能够大幅度提高流量控制设备的流量定位性能,减少RAM的使用与逻辑资源的使用,减少流量定位功能的逻辑模块数量,减少移植与调试的难度。

    一种网络接口数据包处理方法、网络接口芯片及网络接口系统

    公开(公告)号:CN118316870A

    公开(公告)日:2024-07-09

    申请号:CN202410371343.2

    申请日:2024-03-28

    Inventor: 王灿峰 袁智巧

    Abstract: 本发明实施例公开一种网络接口数据包处理方法,所述处理方法包括,接收网络数据包,响应于与多个处理单元对应的配置规则,过滤分发单元将所述网络数据包逐个匹配所述配置规则,并将所述网络数据包发送至匹配成功的配置规则对应的处理单元。本发明实施例的网络接口数据包处理方法,能够提高网络接口数据包处理效率,可以同时处理多个数据包,带来更好的稳定性和功耗表现,很好的满足了网络数据包实时性处理要求。

Patent Agency Ranking