一种基于消息队列的分布式数据实时去重方法

    公开(公告)号:CN105183858B

    公开(公告)日:2018-12-21

    申请号:CN201510572334.0

    申请日:2015-09-10

    Abstract: 本发明公开一种基于消息队列的分布式数据实时去重方法,根据消息网络接口,配置若干台数据从服务器,并加入消息网络;为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息;根据原始数据信息,去重数据信息及去重服务信息确定从服务器;原始数据产生者查询重服务信息,并将原始数据发送至相应的原始数据队列;数据从去重服务器查询去重服务信息,从相应的原始数据队列中消费数据,并输入至数据去重引擎,之后将去重后的数据输入到相应的去重数据队列;去重数据消费者查询去重服务信息,并从相应的去重数据队列中消费数据;主服务器根据从服务器信息更新从服务器信息。

    一种网卡的线程级动态均衡调度方法

    公开(公告)号:CN107317759A

    公开(公告)日:2017-11-03

    申请号:CN201710442620.4

    申请日:2017-06-13

    CPC classification number: H04L47/10 H04L47/50

    Abstract: 本发明公开了一种网卡的线程级动态均衡调度方法。本方法为:1)在网卡中设置一流表;流表中的每个条目包括键值和结果两部分,其中键值为业务流中业务报文的五元组,结果为缓存队列号;2)网卡定时去检测各业务处理线程的缓存队列利用率,将线程的缓存队列利用率超过设定阈值的线程的状态设置为已满,否则设置为可用;3)将状态为可用的线程构建一线程队列;4)网卡对收到的每一业务流,根据该业务流的键值查找流表,如果有匹配条目,则将该业务流的业务报文发送到对应的缓存队列;如果没有则从线程队列中选取一线程生成一条目保存到流表中然后发送;5)当一业务流结束或者超时时,网卡删除所述流表中该业务流对应的条目。

Patent Agency Ranking