-
公开(公告)号:CN113591485B
公开(公告)日:2024-07-12
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06V10/42 , G06V10/75 , G06V10/762 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN116361277A
公开(公告)日:2023-06-30
申请号:CN202310234256.8
申请日:2023-03-08
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F16/215 , G06F16/242
Abstract: 本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。
-
公开(公告)号:CN115016904A
公开(公告)日:2022-09-06
申请号:CN202210276240.9
申请日:2022-03-21
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F9/48 , G06F16/215 , G06N3/02 , G06N5/00
Abstract: 本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。
-
公开(公告)号:CN112650587A
公开(公告)日:2021-04-13
申请号:CN202011560267.8
申请日:2020-12-25
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
Abstract: 本发明涉及一种基于分布式统一收集分发编排任务方法,本发明解决现有技术的问题,其技术方案要点是,步骤一,任务编排;步骤二,将一个业务分拆分配;步骤三,执行配置负载均衡分发策略,轮询将请求顺序循环地发到每个服务器,当其中一个服务器发生故障时,就把发生故障的服务器从顺序循环队列中拿出,直到恢复正常;步骤四,针对集群统一收集分发编排,采用消息中间件线程安全队列,采用生产者消费者模式,有序分发任务至集群服务器,集群服务器通过自己的配置设定解决任务,并通过消息中间件反馈任务情况;步骤五,针对任务节点异常情况,任务编排端接收节点异常情况,提供解决方案。
-
公开(公告)号:CN112087468A
公开(公告)日:2020-12-15
申请号:CN202010989282.8
申请日:2020-09-18
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: H04L29/06
Abstract: 本申请公开了一种报文处理方法、相关设备及可读存储介质,所述边缘网关预设多个协议模板,每个协议模板对应一种报文协议类型,边缘网关在获取感知层终端上报的报文之后,确定所述报文对应的报文协议类型;依据所述报文协议类型对应的目标协议模板,对所述报文进行解析,得到所述报文中的数据项,所述目标协议模板为预设多个协议模板中的一个。由于边缘网关预设了针对不同报文协议类型的协议模板,因此,边缘网关能够处理采用不同报文协议类型的感知层终端上报的报文,通用性较强。
-
公开(公告)号:CN113591485A
公开(公告)日:2021-11-02
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN118959902B
公开(公告)日:2024-12-24
申请号:CN202411433980.4
申请日:2024-10-15
Applicant: 国网浙江省电力有限公司信息通信分公司
Abstract: 本发明涉及管道故障检测技术领域,公开了一种天然气管道故障检测方法、系统、设备及介质,通过将天然气管道的动态量测数据——流量、压力进行傅里叶变换,并用有限个正弦稳态之和表示变换结果,而在每个正弦稳态下,天然气管道具有确定的二端口参数矩阵——管道首端的流量矩阵和压力矩阵以及管道末端的流量矩阵和压力矩阵,再基于管道首、末端的流量矩阵和压力矩阵量化天然气管道的方均根偏差,即可根据计算得到的方均根偏差判断出天然气管道的故障类型,以使与天然气网络连接的电力系统能根据天然气故障内容进行相对应的控制操作,本发明所述的基于管道端口动态特性的故障检测方案具有快速、可在线分析的特点,适用于气‑电连锁故障预警场景。
-
公开(公告)号:CN113792890B
公开(公告)日:2024-05-03
申请号:CN202111167777.3
申请日:2021-09-29
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江捷瑞电力科技有限公司
Abstract: 本公开提供的一种基于联邦学习的模型训练方法及相关设备,应用于边缘计算框架,所述边缘计算框架包括云计算中心和至少一个边缘计算节点,所述云计算中心对各所述边缘计算节点进行管理控制,该方法包括:对所述云计算中心构建中心神经网络模型;对各所述边缘计算节点分别构建边缘神经网络模型;利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整,获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习,可以有效在训练过程中防止边缘计算节点的数据泄露,提高边缘计算框架的对抗攻击防御能力。
-
公开(公告)号:CN117521884A
公开(公告)日:2024-02-06
申请号:CN202311455230.2
申请日:2023-11-02
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江大学
Abstract: 本发明涉及电网能量管理技术领域,公开了一种多能协同互补优化方法、系统、计算机设备和存储介质,方法包括:获取综合能源系统中每个电气设备的状态信息,将所述状态信息作为智能体的初始信息,输入预先建立好的多智能体决策模型进行动作决策,得到每个智能体对应的智能体动作;根据预设的约束条件和所述智能体动作,对所述智能体的输出动作进行分级调控。本发明通过多智能体决策模型并结合深度强化学习的泛化能力,在有效降低系统运行成本的同时,实现了对需求不确定性和风力不确定性的实时响应,并且通过分层调控框架提高了风电消纳,从而实现了多种能源的协同优化。
-
公开(公告)号:CN114637747A
公开(公告)日:2022-06-17
申请号:CN202210225515.6
申请日:2022-03-09
Applicant: 国网浙江省电力有限公司信息通信分公司
IPC: G06F16/22 , G06F16/242 , G06F16/245 , G06F16/28
Abstract: 本申请实施例提出了用于能源行业交互式互动平台的数据处理方法,包括基于低代码开发模块中的前端拖拽式界面对表单进行配置;在服务端基于表结构对象化设计元数据模型。能够实现前端应用的组件式高效率、高交互性开发、高可扩展性、高可维护性、易用性等特点,同时有效降低开发门槛,快速自主开发业务应用,可以大幅减少应用开发成本支出,缩短应用开发上线周期,快速响应业务运营变革和创新等各类需求。
-
-
-
-
-
-
-
-
-