-
公开(公告)号:CN119784569A
公开(公告)日:2025-04-08
申请号:CN202311295970.4
申请日:2023-10-08
Applicant: 华为技术有限公司
Abstract: 一种数据处理方法及相关装置,其中,在执行AI任务时,通过数据处理器先对数据进行数据解码、随机变换等预处理,图像处理器再基于预处理结果执行AI任务,通过神经网络进行推理或对神经网络进行训练。数据处理器对待处理数据的预处理与图像处理器基于预处理结果执行AI任务的过程可以并行执行,以提升推理或训练的效率。并且,由数据处理器对数据进行预处理计算,可以降低中央处理器的计算负载,增加计算系统的稳定性。
-
公开(公告)号:CN119443186A
公开(公告)日:2025-02-14
申请号:CN202310947552.2
申请日:2023-07-28
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种用于模型训练的数据处理方法、装置、计算设备以及存储介质,属于人工智能技术领域。本方法在数据处理过程中,基于模型的模型参数信息,建立显存预测模型,根据模型参数信息以及模型训练所用的显卡的可用显存空间大小,获取目标批大小区间,再基于目标批大小区间、显存预测模型及模型参数信息,获取目标批大小及对应的数据处理方案,从而按照目标批大小及对应的数据处理方案对模型训练过程中的数据进行处理,实现对模型训练进行加速的目的,解决模型训练过程中显存受限以及显卡利用率低的问题。
-
公开(公告)号:CN115662518A
公开(公告)日:2023-01-31
申请号:CN202211683352.2
申请日:2022-12-27
Applicant: 四川大学华西医院 , 华为技术有限公司 , 赛乐基因科技(北京)有限公司
Abstract: 本发明属于测序数据处理技术领域,具体涉及一种基因测序存算协作系统、方法和计算机可读存储介质。本发明的系统包括:数据处理模块,用于进行基因测序业务的运算;共享存储模块,用于存储基因测序业务相关的文件;数据调度模块,包括DPU,用于进行数据处理模块内的硬件之间的数据搬迁和资源调度,还用于进行数据处理模块和共享存储模块之间的数据搬迁。本发明还提供了应用该系统进行基因测序的方法。本发明能够提高基因测序工作的效率,具有很好的应用前景。
-
公开(公告)号:CN119440781A
公开(公告)日:2025-02-14
申请号:CN202310944887.9
申请日:2023-07-28
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种用于模型训练的显存分配方法、装置、计算设备以及存储介质,属于人工智能技术领域。本方法在显存分配过程中,在获取最小数据交换量时,参考能够使得理想训练吞吐率最大的批大小,再从基于该最小数据交换量所确定的张量交换方案中,获取目标张量交换方案,从而基于目标张量交换方案来分配共享用于存储需要进行交换的张量的显存空间,能够在不影响模型精度和收敛性的前提下实现对模型训练进行加速的目的。
-
公开(公告)号:CN119292995A
公开(公告)日:2025-01-10
申请号:CN202310845797.4
申请日:2023-07-10
Applicant: 华为技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/185
Abstract: 本申请实施例公开了一种数据读写的方法、装置和计算设备集群,用于降低冷启动阶段的数据读写延时。本申请实施例方法包括:在获取第一数据和第一数据的描述信息后,将第一数据的描述信息作为判断第一数据是否为热数据的依据进行判断,若第一数据为热数据,则将第一数据写入第一存储,若第一数据不是热数据,则将第一数据写入第二存储,第一存储的数据读写速度大于第二存储的数据读写速度。利用获取第一数据时同时获取到的第一数据的描述信息判断第一数据是否为热数据,确定第一数据的存储地址。消除了冷启动阶段难以根据数据的热度将该数据存储至数据热度对应的存储中的问题,进一步降低了数据读写的延时。
-
公开(公告)号:CN114627968A
公开(公告)日:2022-06-14
申请号:CN202210271132.2
申请日:2022-03-18
Applicant: 四川大学华西医院 , 华为技术有限公司 , 赛乐基因科技(北京)有限公司
IPC: G16B40/00
Abstract: 本发明属于组学研究技术领域,具体涉及一种多模态组学数据管理系统。本发明的系统包括:采集模块、数据存储模块、数据分析模块和应用系统,其中,所述数据采集模块用于采集业务系统数据并导入到数据存储模块,设置或更新用户元数据信息并将元数据信息保存至数据存储模块;所述数据存储用于存储数据和元数据信息,提供元数据检索能力;所述数据分析模块用于提供数据分析功能。本发明基于多组学数据的海量性,提出了基于多组学数据特征和元数据标签的数据自动识别技术,具有很好的应用前景。
-
公开(公告)号:CN119065826A
公开(公告)日:2024-12-03
申请号:CN202310654892.6
申请日:2023-06-02
Applicant: 华为技术有限公司
Abstract: 一种调优方法、调优装置和计算设备。计算设备可以自动地对运行WRF模型的运行参数进行调优,可以尽可能减少暴露在外的通信时间,以及WRF模型的总I/O时间。计算设备在自动调优过程中,对运行参数的各个参数分阶段进行调优,每次调优少量的参数,可以加快调优的收敛速度。计算设备完成运行参数的所有参数进行调优后,构成调优结果,存入数据库,可以丰富数据库的数据,以提高后续调优的准确性。
-
公开(公告)号:CN114627968B
公开(公告)日:2023-10-20
申请号:CN202210271132.2
申请日:2022-03-18
Applicant: 四川大学华西医院 , 华为技术有限公司 , 赛乐基因科技(北京)有限公司
IPC: G16B40/00
Abstract: 本发明属于组学研究技术领域,具体涉及一种多模态组学数据管理系统。本发明的系统包括:采集模块、数据存储模块、数据分析模块和应用系统,其中,所述数据采集模块用于采集业务系统数据并导入到数据存储模块,设置或更新用户元数据信息并将元数据信息保存至数据存储模块;所述数据存储用于存储数据和元数据信息,提供元数据检索能力;所述数据分析模块用于提供数据分析功能。本发明基于多组学数据的海量性,提出了基于多组学数据特征和元数据标签的数据自动识别技术,具有很好的应用前景。
-
公开(公告)号:CN101001411A
公开(公告)日:2007-07-18
申请号:CN200710000764.0
申请日:2007-01-19
Applicant: 华为技术有限公司
Abstract: 本发明公开了一种消息传送的方法,包括:对接收到的进行呼转(FORWARD)/抄送(CC)业务的消息进行循环检测,在检测不通过时,停止对该消息的业务传送。此外,本发明还公开了一种消息传送的装置及消息中心,包括:调度单元和消息循环检测单元。本发明所提供的方法、装置和消息中心,能够防止消息的循环传送,节约网络资源。
-
-
-
-
-
-
-
-