-
公开(公告)号:CN119065599B
公开(公告)日:2025-04-04
申请号:CN202410970531.7
申请日:2022-08-16
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法、装置及系统,属于计算机技术领域。通过在计算节点和存储节点中分别部署DPU,并且使计算节点中的DPU与存储节点中的DPU建立通信链接。计算节点中的多个业务进程只需要与该计算节点中的DPU交互,再由该计算节点中的DPU通过通信链接与存储节点中的DPU交互,就能够实现在存储节点中写数据或从存储节点中读数据。单个计算节点与存储节点之间只需通过DPU建立一条通信链接即可,解决了目前计算节点与存储节点由于链接数目过多导致数据传输性能下降的问题,进而提高了数据处理效率。
-
公开(公告)号:CN118689375A
公开(公告)日:2024-09-24
申请号:CN202310321360.0
申请日:2023-03-23
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种存储洗牌数据的方法、装置及存储介质,属于存储技术领域。所述方法包括:执行单元按照第一负载均衡策略将第一洗牌数据存储至至少一个远端洗牌服务RSS节点;执行单元获取第一RSS节点的扩展RSS节点;执行单元更新第一负载均衡策略,得到第二负载均衡策略,以按照第二负载均衡策略存储第二洗牌数据。因此,执行单元在目标应用程序的运行过程中,可以针对某个RSS节点获取扩展RSS节点,进而更新负载均衡策略,从而避免在目标应用程序的整个运行过程中均按照同一个负载均衡策略存储洗牌数据。这样可以避免单个RSS节点的负载压力过大。
-
公开(公告)号:CN117875425A
公开(公告)日:2024-04-12
申请号:CN202211212711.6
申请日:2022-09-30
Applicant: 华为技术有限公司
IPC: G06N5/04 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种神经网络模型的推理方法,该方法应用于计算集群,计算集群包括多个推理服务器及内存池,每个推理服务器包括至少一个推理卡及本地内存,该方法包括:计算集群中的第一推理服务器的第一推理卡接收推理任务;第一推理卡若在第一推理卡未命中执行推理任务的参数,则从第一服务器的本地内存中获取参数;若在第一服务器的本地内存中未命中参数,则从内存池中获取参数。第一推理卡能够基于获取的所有参数执行推理任务。基于第一推理服务器的本地内存的高速读写能力,能够提高第一推理卡获取参数的速度,从而降低第一推理卡获取参数的时延,满足执行推理任务的低时延的要求。此外,本申请还提供了对应的装置、计算集群及存储介质。
-
公开(公告)号:CN113037800A
公开(公告)日:2021-06-25
申请号:CN202010407994.4
申请日:2020-05-14
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种作业调度方法以及作业调度装置,该方法包括:接收目标作业,目标作业包括n个任务;根据目标作业的n个任务在节点集群中分别进行节点筛选,得到n个候选节点集合,每一候选节点集合包括多个候选节点;在n个任务中的第m个任务对应的第m个候选节点集合中选择网络传输性能分数最高的候选节点作为第m个任务的目标节点,第m个任务的目标节点用于处理第m个任务,网络传输性能分数由n个任务在同一机架聚合度、n个任务之间的亲和度、n个任务的跨节点度和节点空闲度中的一者或任意组合决定,n为大于或者等于1整数,m为1至n之间的任意正整数。本申请的技术方案能够缩短目标作业的运行时间,提高目标作业的运行效率。
-
公开(公告)号:CN101304543A
公开(公告)日:2008-11-12
申请号:CN200810067875.8
申请日:2008-06-17
Applicant: 华为技术有限公司
Abstract: 本发明实施例公开了一种双面插背板,包括,中间背板及前后单板槽位连接器,所述中间背板前端面第一插脚、第二插脚;后端面具有第三插脚;前单板槽位连接器具有第一电性插针和第二电性插针,自第一插脚处向中间背板内部插设第一电性插针,自第二插脚处向中间背板内部插设第二电性插针;后单板槽位连接器具有第三电性插针,自第三插脚处向中间背板内部插设第三电性插针;所述第三插脚位于所述第一插脚与第二插脚的连接线段正对于中间背板后端面的线段上。使得双面插背板的前单板槽位连接器与后单板槽位连接器在中间背板同一纵向位置上可以部分或者完全重叠,双面插背板中单板槽位连接器可以密集设置,提高了双面插背板结构空间利用率。
-
公开(公告)号:CN117290062A
公开(公告)日:2023-12-26
申请号:CN202211460871.2
申请日:2022-11-17
Applicant: 华为技术有限公司
Abstract: 公开了数据处理方法、装置、设备和系统,涉及数据处理领域。该数据处理系统中控制节点预估多个第二计算节点并行执行数据处理任务的结果数据的数据量,根据数据量及执行归约任务的第一计算节点的内存信息确定归约任务的数量,每个第二计算节点按照数量对执行数据处理任务产生的结果数据进行分区,每个分区对应一个归约任务;第一计算节点对多个第二计算节点分区后的数据执行归约处理。如此,尽量使执行归约任务的计算节点的内存的存储容量满足归约任务的数据量,避免由于单个归约任务的数据量过大或过小,从而在执行归约任务之前,通过灵活动态地设置归约任务的数量,提升归约任务的处理性能。
-
公开(公告)号:CN115470154A
公开(公告)日:2022-12-13
申请号:CN202111036692.1
申请日:2021-09-06
Applicant: 华为技术有限公司
Abstract: 一种数据访问方法,在该方法中,存储系统包括多个节点,其中,存储系统的内存池包括多个节点中的复数个节点的内存,多个节点中还包括第一节点,该第一节点包括接口卡,则该方法包括:接口卡接收第一应用的数据访问请求,该数据访问请求包括目标数据在内存池中的目标全局内存地址,其中,第一应用可以来自于存储系统中任意一个节点,并且目标全局内存地址对应所述内存池中唯一的存储空间;然后,接口卡根据目标全局内存地址得到目标数据的目标局部内存地址,其中,目标局部内存地址用于指示目标数据在存储目标数据的节点的内存中的存储空间;最后,接口卡向第一应用发送目标数据,或者目标局部内存地址。该方法能有效提高内存池中数据操作性能。
-
公开(公告)号:CN113127186A
公开(公告)日:2021-07-16
申请号:CN201911410034.7
申请日:2019-12-31
Applicant: 华为技术有限公司
IPC: G06F9/50
Abstract: 本公开是关于一种配置集群节点资源的方法、装置、服务器和存储介质,属于信息技术领域。所述方法包括:每当到达预设的资源配置周期时,获取集群节点所属的至少两个集群分别对应的资源分配参照信息,其中,资源分配参照信息包括当前闲置资源量;基于资源分配参照信息,确定集群节点所属的每个集群对应的资源分配量;基于资源分配量,对集群节点中的资源进行资源配置处理。采用本公开,可以主动在每个资源配置周期,基于资源分配参照信息动态对集群节点中的资源进行资源配置处理,进而可以实现同一集群节点中资源量的动态分配和平衡。
-
公开(公告)号:CN110033081A
公开(公告)日:2019-07-19
申请号:CN201910175381.X
申请日:2019-03-08
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种确定学习率的方法和装置,所述方法包括:获取用于间隔地计算深度学习模型中的目标层的学习率的间隔次数;在当前迭代次数小于所述间隔次数时,在对所述深度学习模型中的所述目标层进行当前次迭代的学习训练的过程中,继续使用前次迭代过程中的第一学习率进行所述目标层的学习训练。本申请提供的技术方案可以减小计算学习率的迭代次数,从而可以避免现有技术中每一次迭代训练中均需要对目标层计算一次学习率所造成的较长的训练迭代时间。
-
公开(公告)号:CN113765949A
公开(公告)日:2021-12-07
申请号:CN202010490013.7
申请日:2020-06-02
Applicant: 华为技术有限公司
IPC: H04L29/08
Abstract: 本申请提供了一种资源分配的方法以及装置,该方法包括:确定预设时间段内提交的多个作业的特征;根据所述多个作业的特征确定第一影响因子和第二影响因子,其中,所述第一影响因子为集群的历史资源使用信息对应的权重,所述第二影响因子是所述集群的实时资源使用信息对应的权重;根据用户的历史资源使用信息、所述第一影响因子、实时资源使用信息以及所述第二影响因子确定目标用户。本申请的技术方案可以实现资源的公平分配,避免参数设置的不当产生的资源分配不公平的问题。
-
-
-
-
-
-
-
-
-