一种日志数据同步任务进程控制方法和装置
Abstract:
本发明公开了一种日志数据同步任务进程控制方法和装置,装置包括:控制台主应用和执行器;所述控制台主应用的功能包括:执行器注册、数据源配置管理、数据同步任务管理和消息队列主题管理;所述执行器的功能包括:基于完成注册的执行器开启日志数据同步进程,并读取变更数据捕获增量日志数据至消息队列的主题分区下;基于数据源配置管理和数据同步任务管理的设置订阅主题,并进行变更数据捕获增量日志数据的采集和写入;以及基于多执行器节点部署组成执行器组,进行消息队列中不同主题的订阅消费并发操作。本发明能够实现可控制、可管理、可配置、可视化和集群化的日志数据同步任务进程控制,提高数据采集效率,节省人力和降低生产成本。
Public/Granted literature
Patent Agency Ranking
0/0