一种数据处理方法及相关装置
    1.
    发明公开

    公开(公告)号:CN119784569A

    公开(公告)日:2025-04-08

    申请号:CN202311295970.4

    申请日:2023-10-08

    Abstract: 一种数据处理方法及相关装置,其中,在执行AI任务时,通过数据处理器先对数据进行数据解码、随机变换等预处理,图像处理器再基于预处理结果执行AI任务,通过神经网络进行推理或对神经网络进行训练。数据处理器对待处理数据的预处理与图像处理器基于预处理结果执行AI任务的过程可以并行执行,以提升推理或训练的效率。并且,由数据处理器对数据进行预处理计算,可以降低中央处理器的计算负载,增加计算系统的稳定性。

    用于模型训练的数据处理方法、装置、计算设备

    公开(公告)号:CN119443186A

    公开(公告)日:2025-02-14

    申请号:CN202310947552.2

    申请日:2023-07-28

    Abstract: 本申请公开了一种用于模型训练的数据处理方法、装置、计算设备以及存储介质,属于人工智能技术领域。本方法在数据处理过程中,基于模型的模型参数信息,建立显存预测模型,根据模型参数信息以及模型训练所用的显卡的可用显存空间大小,获取目标批大小区间,再基于目标批大小区间、显存预测模型及模型参数信息,获取目标批大小及对应的数据处理方案,从而按照目标批大小及对应的数据处理方案对模型训练过程中的数据进行处理,实现对模型训练进行加速的目的,解决模型训练过程中显存受限以及显卡利用率低的问题。

    一种数据读写的方法、装置和计算设备集群

    公开(公告)号:CN119292995A

    公开(公告)日:2025-01-10

    申请号:CN202310845797.4

    申请日:2023-07-10

    Abstract: 本申请实施例公开了一种数据读写的方法、装置和计算设备集群,用于降低冷启动阶段的数据读写延时。本申请实施例方法包括:在获取第一数据和第一数据的描述信息后,将第一数据的描述信息作为判断第一数据是否为热数据的依据进行判断,若第一数据为热数据,则将第一数据写入第一存储,若第一数据不是热数据,则将第一数据写入第二存储,第一存储的数据读写速度大于第二存储的数据读写速度。利用获取第一数据时同时获取到的第一数据的描述信息判断第一数据是否为热数据,确定第一数据的存储地址。消除了冷启动阶段难以根据数据的热度将该数据存储至数据热度对应的存储中的问题,进一步降低了数据读写的延时。

    一种调优方法、装置和计算设备
    7.
    发明公开

    公开(公告)号:CN119065826A

    公开(公告)日:2024-12-03

    申请号:CN202310654892.6

    申请日:2023-06-02

    Abstract: 一种调优方法、调优装置和计算设备。计算设备可以自动地对运行WRF模型的运行参数进行调优,可以尽可能减少暴露在外的通信时间,以及WRF模型的总I/O时间。计算设备在自动调优过程中,对运行参数的各个参数分阶段进行调优,每次调优少量的参数,可以加快调优的收敛速度。计算设备完成运行参数的所有参数进行调优后,构成调优结果,存入数据库,可以丰富数据库的数据,以提高后续调优的准确性。

Patent Agency Ranking