流处理数据容错处理方法、装置、电子设备及存储介质

    公开(公告)号:CN118802581A

    公开(公告)日:2024-10-18

    申请号:CN202410075005.4

    申请日:2024-01-18

    Abstract: 本发明提供一种流处理数据容错处理方法、装置、电子设备及存储介质,属于数据处理技术领域,所述方法包括:基于下一流处理节点之前的多个历史流处理节点的历史运行参数,预测下一流处理节点的预测运行参数;根据预测运行参数,确定下一流处理节点的运行状态;在下一流处理节点的运行状态为故障的情况下,保存下一流处理节点内的数据以生成节点数据快照。本发明通过利用流处理节点的历史运行参数,提前预测下一时刻的流处理节点运行状态发生故障的情况,并动态地、自适应地生成节点数据快照,从而克服了依赖经验设置固定的备份周期所导致的算力浪费和存储资源浪费问题,节省了数据恢复容错的时间成本,提高了数据恢复容错的效率。

    任务调度方法、装置、电子设备及存储介质

    公开(公告)号:CN118796411A

    公开(公告)日:2024-10-18

    申请号:CN202311261916.8

    申请日:2023-09-27

    Abstract: 本发明涉及计算机技术领域,提供一种任务调度方法、装置、电子设备及存储介质,所述方法包括:检测到至少一个待调度任务;确定所述待调度任务的历史调度信息与目标调度策略;根据所述待调度任务的历史调度信息,确定所述待调度任务的任务价值;基于所述任务价值与所述目标调度策略,对所述待调度任务进行调度。本发明提供的任务调度方法可以根据任务的重要程度结合相应的调度策略进行任务调度,避免不重要任务占据了重要的调度时段和资源以及通过人工的方式调整任务优先级的局限,进而可以提高进行任务调度时资源分配的合理性。

    端节点认证方法、装置、电子设备及存储介质

    公开(公告)号:CN118802290A

    公开(公告)日:2024-10-18

    申请号:CN202410359056.X

    申请日:2024-03-27

    Abstract: 本发明提供一种端节点认证方法、装置、电子设备及存储介质,属于通信技术领域,所述方法应用于可信代理边节点,包括接收任一待认证端节点发送的、携带有待认证端节点所在的区域认证网络域的第一区域标识的认证请求,校验第一区域标识,在校验通过时向待认证端节点返回携带有认证证书的认证通过响应。本发明在对端节点加入算力网络进行认证时,不再由统一的认证中心进行校验,而是由端节点向打算加入的算力网络对应的分布式区域认证网络域中的可信代理节点进行认证校验,克服了在复杂算力网络环境中统一验证给认证中心带来的性能挑战,提升了端节点认证的速度,避免了认证速度较慢对算力网络的计算性能产生不利影响。

    安全数据传输方法、系统、终端和计算机程序产品

    公开(公告)号:CN117749855A

    公开(公告)日:2024-03-22

    申请号:CN202211116984.0

    申请日:2022-09-14

    Abstract: 本申请涉及数据特性优化技术领域,提供安全数据传输方法、系统、终端和计算机程序产品,包括:第一终端和第三终端进行TLS/SSL连接建立,生成第一安全保障通道;当第一终端检测到发送到第三终端的安全数据需要经过第二终端时,第一终端和第二终端进行TLS/SSL连接建立,生成第二安全保障通道;第一终端将安全数据封装加密在第一安全保障通道的TLS/SSL数据中,在第一安全保障通道的TLS/SSL数据的报文中携带发送给第二终端的信息,并通过第二安全保障通道进行整体加密,得到第一加密数据并发送至第二终端。本申请的第二终端可以区别特定数据类型以及数据传输模式,为用户提供定制数据传输优化方式以及保障方案。

    面向无线能力开放的数据采集方法、装置及电子设备

    公开(公告)号:CN116828527A

    公开(公告)日:2023-09-29

    申请号:CN202210283966.5

    申请日:2022-03-21

    Abstract: 本申请涉及无线能力开放领域,提供一种面向无线能力开放的数据采集方法、装置及电子设备。所述方法包括:获取针对目标用户设备的无线信息请求;指示基站上报与所述无线信息请求匹配的目标无线信息。将所述目标无线信息上报至关联回填服务器,以使得所述关联回填服务器将所述目标无线信息和核心网上报的用户设备身份标识信息传输至Client服务器。本申请实施例提供的面向无线能力开放的数据采集方法不仅能够大大降低基站的数据上报量,减小宕机风险,也能够针对性的确保目标用户设备的业务体验。

    一种实现大数据平台输入/输出处理的方法及系统

    公开(公告)号:CN104850548B

    公开(公告)日:2018-05-22

    申请号:CN201410050179.1

    申请日:2014-02-13

    Abstract: 本发明实施例公开了一种实现大数据平台I/O处理的方法,Primary server将由client推送的数据写入自身高速缓存后,向master发送已写入Primary server高速缓存的信号;Primary server向client反馈写操作完成信号;Primary server将由client推送的数据发送到各个Secondary server后,各个Secondary server异步将所述数据写入自身的高速缓存中;Primary server异步等待并接收所有Secondary server反馈的写缓存完成信号后,向master发送已写入Secondary server高速缓存的信号。本发明实施例还同时公开了一种实现大数据平台I/O处理的系统。

    一种实现大数据平台输入/输出处理的方法及系统

    公开(公告)号:CN104850548A

    公开(公告)日:2015-08-19

    申请号:CN201410050179.1

    申请日:2014-02-13

    Abstract: 本发明实施例公开了一种实现大数据平台I/O处理的方法,Primary server将由client推送的数据写入自身高速缓存后,向master发送已写入Primary server高速缓存的信号;Primary server向client反馈写操作完成信号;Primary server将由client推送的数据发送到各个Secondary server后,各个Secondary server异步将所述数据写入自身的高速缓存中;Primary server异步等待并接收所有Secondary server反馈的写缓存完成信号后,向master发送已写入Secondary server高速缓存的信号。本发明实施例还同时公开了一种实现大数据平台I/O处理的系统。

Patent Agency Ranking