一种系统更新方法、装置、电子设备及存储介质

    公开(公告)号:CN118245088A

    公开(公告)日:2024-06-25

    申请号:CN202410454859.3

    申请日:2024-04-16

    Abstract: 本公开实施例提供了一种系统更新方法、装置、电子设备及存储介质。该方法包括:在检测到当前载入系统的第一配置文件达到指定的配置更新条件时,则触发处理配置事件指令,以创建临时配置对象;将所述第一配置文件与当前系统运行的第二配置文件进行比对,以获得一个或多个临时数据源运行组件后更新到临时配置对象中,临时数据源运行组件用于控制与之对应的至少一个数据源组件保持运行;将第一配置文件中关于缓冲通道组件及接收器组件的组件配置数据,写入更新后的临时配置对象,使得依据当前的临时配置对象指示系统中各组件的运行。本公开实施例解决了数据丢失的技术问题。

    基于SQL参数的数据汇入方法、装置、设备及介质

    公开(公告)号:CN117473023A

    公开(公告)日:2024-01-30

    申请号:CN202311490971.4

    申请日:2023-11-09

    Inventor: 王振宇

    Abstract: 本实施例公开了一种基于SQL参数的数据汇入方法、装置、设备及介质。其中,该方法包括:根据预设配置信息定义第一SQL语句和第二SQL语句,其中,第一SQL语句用于创建数据源为ElasticSearch的临时视图,第二SQL语句用于将Kafka集群的目标数据汇入到ElasticSearch;通过解析器将第一SQL语句和第二SQL语句转换成程序执行逻辑;提取第二SQL语句的语句参数并作为流任务逻辑计划的输入参数;创建插入命令,并通过API接口开启Spark流计算任务;利用Spark运行机制执行插入命令完成目标数据汇入。该方法能够提高数据处理的准确率和效率,提高Spark环境下数据汇入的安全性。

    日志解析模板的生成方法、日志解析方法、装置及设备

    公开(公告)号:CN114035789A

    公开(公告)日:2022-02-11

    申请号:CN202111306765.4

    申请日:2021-11-05

    Inventor: 王振宇 吴瑕

    Abstract: 本公开涉及一种日志解析模板的生成方法、日志解析方法、装置及设备,该方法包括:获取待解析的目标日志;确定所述目标日志的格式和所述目标日志的一个或多个特征字段;基于所述一个或多个特征字段,确定初始解析模板;基于所述格式修正所述初始解析模板,得到日志解析模板。本公开通过确定目标日志的格式和目标日志的一个或多个特征字段,基于一个或多个特征字段,确定初始解析模板,用于完成对不同格式日志的解析工作,并基于目标日志的格式修正初始解析模板,使得初始解析模板更加完善,相同格式的日志能够更加快速的完成解析,减少日志解析人员的编写成本,提高了编写效率,降低了后期的运维成本。

Patent Agency Ranking