-
公开(公告)号:CN119128794A
公开(公告)日:2024-12-13
申请号:CN202411152070.9
申请日:2024-08-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/25 , G06F18/214 , G06N3/0442
Abstract: 本发明提出一种基于记忆重放变分自动编码器的IoT数据在线预测系统,系统包括:预测模块,用于将待预测IoT数据输入至训练好的记忆重放VAE,得到预测结果;训练模块,用于训练记忆重放VAE,记忆重放VAE包括编码器和生成器;记忆重放VAE的训练过程为:将第一样本数据输入编码器,得到第一样本潜在因素和第一样本预测结果;生成器基于第一样本潜在因素得到第一样本重放数据;将第二样本数据和第一样本重放数据输入编码器,得到融合样本潜在因素,以及相应预测结果;基于标签和得到的预测结果,计算损失函数,当损失最小时,训练完成。本发明基于OLVAE结合注意力机制和脑重放机制,缓解编码器对旧知识的遗忘,实现IoT数据的高效预测。
-
公开(公告)号:CN116737521A
公开(公告)日:2023-09-12
申请号:CN202310744383.2
申请日:2023-06-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F11/34 , G06F11/30 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于HPC作业预测领域,提供了一种基于自监督对比学习的HPC作业功耗预测方法及系统,本发明采用了基于表示学习和自监督学习的方法进行训练,采用向量对比的方式进行学习,将生成的向量表示在时间戳粒度以及实例粒度进行对比;在时间粒度上进行对比,学习数据随时间的动态变化趋势;在实例粒度上进行对比,学习不同类别的数据之间的差异和相似特征;基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。考虑了数据的连续性,可以在长期预测任务中取得较好的性能,计算复杂度也明显低于RNN和GRU模型。
-
公开(公告)号:CN119201147A
公开(公告)日:2024-12-27
申请号:CN202411264915.3
申请日:2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种基于容器化的云边协同海洋数据质控模型部署方法及系统,采用容器技术进行模型的封装和部署,实现模型在异构边缘设备上的快速迁移和高效运行;在Docker层重用的基础上提出利用内容定义分块算法进行分段处理,以期最大程度减少镜像拉取量,实现模型容器化的快速部署。
-
公开(公告)号:CN119088312A
公开(公告)日:2024-12-06
申请号:CN202411212961.9
申请日:2024-08-30
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明属于冷热数据识别管理技术领域,提供了一种面向跨域异构存储系统的冷热数据存储方法及系统,通过综合考虑数据访问频率、数据更新频率、业务重要性、文件相关性和数据新鲜度多个维度进行冷热数据画像,综合判断数据的冷热属性,反映了数据的实际价值和使用需求,将数据准确的分类为热数据、温数据和冷数据,可以动态地评估数据的重要性和访问需求,将热数据、温数据和冷数据分层存储在不同存储空间中,从而更有效地进行数据存储管理,提高了跨域异构存储系统的体验感,有利于推广应用。
-
公开(公告)号:CN118200217A
公开(公告)日:2024-06-14
申请号:CN202410422956.4
申请日:2024-04-09
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L45/00 , H04L45/02 , H04L45/03 , H04L45/036
Abstract: 本公开提供了基于动态异构联邦学习的协同通信方法及系统,涉及联邦学习数据通信技术领域,包括:中央服务器随机初始化全局模型参数,服务器广播全局模型参数副本至参与方客户端参与方客户端利用本地数据集和初始模型计算本地设备的模型梯度,依次进行局部更新,中央服务器接收到来自参与方客户端的更新就绪信号后,生成多组自适应设备簇,每个簇内的参与方客户端上传本地设备的模型梯度,中央服务器收到所有本地设备的模型梯度执行模型聚合更新簇内的全局模型,使用特定通信拓扑将簇内的全局模型发送给其他簇,来更新本地的模型,达到组间的模型同步和知识共享。
-
公开(公告)号:CN116452404A
公开(公告)日:2023-07-18
申请号:CN202310437009.8
申请日:2023-04-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种深度学习模型分布式训练的内存优化方法及系统,包括:将目标深度学习模型的多个网络层基于图形处理器数量划分为多个区;每个区的网络层在进行训练时,下一训练批次的反向传播基于上一训练批次的反向传播的参数,进行交叉训练;若同一训练批次前向传播和后向传播所运行时的张量大于所在图形处理器上权重缓冲区的内存,则将所述张量分配至中央处理器上执行后并返回至所在的图形处理器。通过建立下一训练批次的反向传播和上一训练批次的反向传播的依赖关系,保证了稳定的交叉训练;通过将图形处理器上权值交换到中央处理器上处理,从而减轻图形处理器上内存的压力。
-
公开(公告)号:CN118606293B
公开(公告)日:2025-01-07
申请号:CN202410639776.1
申请日:2024-05-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种跨域异构存储系统的数据迁移方法及系统,将改进的蚁群算法来对数据迁移路径优化问题进行求解,根据路径的传输成功率动态调整信息素浓度,使其与传输成功率成正比,即传输成功率越高的路径,其对应的信息素浓度越高,从而增加选择该路径的概率;根据传输数据量以及目标节点的负载情况动态调整启发函数值,使其与目标节点的负载成反比,负载越重的节点,其对应路径的启发函数值越低,以降低选择该路径的概率,从而实现存储系统的负载均衡,提高数据迁移的效率和质量。
-
公开(公告)号:CN119204262A
公开(公告)日:2024-12-27
申请号:CN202411318661.9
申请日:2024-09-20
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/00 , G06N3/045 , G06N3/0475 , G06N3/094 , G06F18/2135 , G06F18/22
Abstract: 本发明提供了一种基于联邦学习的客户端选择方法及系统,包括:对参与联邦学习的客户端进行逻辑分组;基于接收到的客户端局部优化后的模型参数,计算其与组内各客户端之间的角距混合相似度;其中,所述角距混合相似度的计算具体为:对客户端局部优化后的模型参数进行主成分分析,基于获得的主成分所对应的分量得分,采用角度和距离结合的方式计算两个客户端的相似度;基于获得客户端与组内其它客户端之间的角距混合相似度,确定当前客户端被选择的权值;基于组内各客户端的权值大小,确定当前迭代轮次参与全局模型聚合的客户端。
-
公开(公告)号:CN118312792A
公开(公告)日:2024-07-09
申请号:CN202410463903.7
申请日:2024-04-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06F18/30 , G06N3/045 , G06N3/0455 , G06N3/0499 , G06N3/0895 , G06N3/096
Abstract: 本发明涉及海洋观测技术领域,提供了一种海洋浮标数据质量人工智能检测方法及系统,包括:获取若干连续深度的海洋浮标数据,并添加静态协变量,得到输入序列数据;基于所述输入序列数据,通过序列预测模型,得到其余深度的海洋浮标数据的预测值;对于其余深度的海洋浮标数据,将预测值和实测值的差值与预测阈值进行比较,判断实测值是否为异常数据。解决了海洋浮标数据领域标记数据不足问题。
-
公开(公告)号:CN119249857A
公开(公告)日:2025-01-03
申请号:CN202411160062.9
申请日:2024-08-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/27 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于海洋科学和数据处理技术领域,提供了一种面向海洋观测数据的基座模型构建方法及系统,包括构建海洋基座模型;将获取的海洋时序数据输入海洋基座模型中,构建海洋时序数据的时间戳粒度级的Token序列,将时间戳前的偏移延迟特征向量和协变量向量连接到时间戳Token向量中;结合因果自注意力机制和旋转位置嵌入,将Token序列的特征映射到Transformer的解码器,生成下一步时间戳序列;定义损失函数,优化模型参数,得到训练好的海洋基座模型。本发明在多种海洋数据集上学习通用的特征表示和时序模式,从而构建一个具有高度泛化能力的海洋通用模型,不仅能够处理大规模、多源的海洋数据,还能够捕捉数据的时序特性,提供实时的数据处理和预测能力。
-
-
-
-
-
-
-
-
-