基于NIO针对大数据分布式系统进行消息处理优化的系统及方法

    公开(公告)号:CN110134534A

    公开(公告)日:2019-08-16

    申请号:CN201910411724.8

    申请日:2019-05-17

    Abstract: 本发明涉及一种基于NIO针对大数据分布式系统进行消息处理优化的系统,包括消息产生模块;消息分发模块;消息发送模块;消息接收模块;消息处理模块,根据接收的消息中的业务信息进行相应的业务操作;消息返回处理模块,用于等待消息的处理结果。本发明还涉及一种基于NIO针对大数据分布式系统进行消息处理优化控制的方法。采用了本发明的基于NIO针对大数据分布式系统进行消息处理优化的系统及方法,能够有效的降低分布式系统间消息通信时的资源占用高的问题,在提高消息通信的效率的同时保证了消息通信的及时性,且系统的通用性强,架构灵活,可扩展性高。该发明采用的方法很好的满足目前分布式系统间大批量和高并发消息通信的需求,具有广泛的应用范围。

    云计算平台中实现大数据量分布式处理的系统及方法

    公开(公告)号:CN109344199A

    公开(公告)日:2019-02-15

    申请号:CN201811101541.8

    申请日:2018-09-20

    Inventor: 骆宇园 何政文

    Abstract: 本发明涉及一种云计算平台中实现大数据量分布式处理的系统,其中所述的系统包括数据筛选处理引擎子系统、数据关联分析引擎子系统和数据监控运维引擎子系统,所述的数据筛选处理引擎子系统分别与所述的数据关联分析引擎子系统和数据监控运维引擎子系统均相连接,且所述的数据关联分析引擎子系统与数据监控运维引擎子系统相连接。采用该种结构,业务开发人员在实现企业对于大数据量的相关需求时,可用本发明中的方法有效提升数据处理速度,并且可根据企业需求,不仅灵活制定数据的校验规则,同时还能根据业务量随时进行分布式部署,优化数据的处理引擎,提高了系统的实用性。

    基于NIO针对大数据分布式系统进行消息处理优化的系统及方法

    公开(公告)号:CN110134534B

    公开(公告)日:2023-08-25

    申请号:CN201910411724.8

    申请日:2019-05-17

    Abstract: 本发明涉及一种基于NIO针对大数据分布式系统进行消息处理优化的系统,包括消息产生模块;消息分发模块;消息发送模块;消息接收模块;消息处理模块,根据接收的消息中的业务信息进行相应的业务操作;消息返回处理模块,用于等待消息的处理结果。本发明还涉及一种基于NIO针对大数据分布式系统进行消息处理优化控制的方法。采用了本发明的基于NIO针对大数据分布式系统进行消息处理优化的系统及方法,能够有效的降低分布式系统间消息通信时的资源占用高的问题,在提高消息通信的效率的同时保证了消息通信的及时性,且系统的通用性强,架构灵活,可扩展性高。该发明采用的方法很好的满足目前分布式系统间大批量和高并发消息通信的需求,具有广泛的应用范围。

    云计算平台下实现异构数据处理功能的ETL系统及其处理方法

    公开(公告)号:CN110263081A

    公开(公告)日:2019-09-20

    申请号:CN201910525080.5

    申请日:2019-06-18

    Abstract: 本发明涉及一种云计算平台下实现异构数据处理功能的ETL系统,包括WEB应用前端处理模块,用于进行门户管理,配置数据源配置、采集器信息、采集任务的配置、采集产物浏览管理以及浏览操作日志;ETL数据处理模块;数据存储及交互模块。本发明还涉及一种实现云计算平台下的异构数据处理方法。采用了本发明的云计算平台下实现异构数据处理功能的ETL系统及其处理方法,采用了该发明中的实现异构数据处理的ETL系统,通过本系统就能处理多种异构数据,从中提取有用的信息,并且在与外部系统的数据交互中,也能减少数据格式转换带来的麻烦,能使有用的数据快速流转,在简化开发工作量的同时提升了业务处理的效率。

Patent Agency Ranking