-
公开(公告)号：CN114489465A
公开(公告)日：2022-05-13
申请号：CN202011268999.X
申请日：2020-11-13
Applicant: 华为技术有限公司
Abstract: 本申请实施例提供一种计算机系统，包括计算节点及存储节点。所述计算节点通过所述存储节点的网卡连接至所述存储节点。所述计算节点用于发送第一写请求，所述第一写请求中包括第一写入地址，所述第一写入地址为所述第一写请求所访问的地址空间中写入待写数据的地址；所述网卡用于接收所述第一写请求，根据所述第一写入地址将所述待写数据写入所述存储节点；在确定访问所述地址空间的且写入地址在所述第一写入地址之前的写请求已全部完成时，通知所述计算节点所述第一写请求已完成。本申请实施例提供的技术方案通过存储节点的网卡控制地址空间的保序写入，降低了计算节点的负载。
-
公开(公告)号：CN114448889A
公开(公告)日：2022-05-06
申请号：CN202011131010.0
申请日：2020-10-21
Applicant: 华为技术有限公司
IPC: H04L45/745 , H04L45/00 , H04L45/28
Abstract: 本申请实施例提供一种数据处理方法，主网络节点用于连接第一网络节点及第二网络节点，所述第二网络节点为新增网络节点或者故障网络节点；主网络节点当侦测到所述第二网络节点时，发送通知消息至所述第一网络节点；第一网络节点发送所述通知消息之前从未接收过的计算任务给主网络节点；主网络节点接收所述第一网络节点发送的所述第一网络节点在接收到所述通知消息之前从未接收过的计算任务并处理。本发明的数据处理方法解决现有技术中网内计算在结构发生变化时，需要中断计算任务处理的缺陷。
-
-
公开(公告)号：CN119149504A
公开(公告)日：2024-12-17
申请号：CN202410980442.0
申请日：2021-12-22
Applicant: 华为技术有限公司
IPC: G06F16/172 , G06F16/182 , G06Q30/0201
Abstract: 公开了数据处理方法、装置、设备和系统，涉及大数据领域。控制设备用于控制计算设备执行大数据分布式处理。计算设备配置有多种部署模式的存储介质，多种部署模式的存储介质包括计算设备内的本地存储介质、基于本地存储介质组成的全局存储介质、扩展的全局存储介质和扩展的本地存储介质中至少两个。所述方法包括控制设备获取到大数据业务的业务请求，从多种部署模式的存储介质中确定至少一种部署模式的存储介质，向计算设备发送控制指示，指示计算设备对业务请求包括的业务数据执行大数据分布式处理中映射(map)任务，并将得到的中间数据存储到至少一种部署模式的存储介质。从而，减少用于存储中间数据而占用计算设备内存储介质的存储空间。
-
公开(公告)号：CN118963987A
公开(公告)日：2024-11-15
申请号：CN202410895800.8
申请日：2021-07-20
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种内存扩展方法以及相关设备，第一网络设备可以根据目标应用的内存需求信息以及第一内存池内的内存资源的使用情况生成内存拓扑，进而根据内存拓扑在第一内存池内建立第二内存池，第二内存池用于指示目标应用被允许使用的内存资源。这样，第一网络设备可以根据内存需求信息和第一内存池内资源的使用情况合理地向目标应用分配内存，动态调整各内存池之间的业务负载分配，使得各内存池的业务负载合理分布，降低了集群作业的等待时间，提升了作业效率。
-
Patent Agency Ranking
公开(公告)号：CN118132499A
公开(公告)日：2024-06-04
申请号：CN202310248707.3
申请日：2023-03-07
Applicant: 华为技术有限公司
IPC: G06F15/173 , G06F12/02
Abstract: 一种数据处理系统、方法及连接设备，用于将超低延迟通信协议(比如CXL协议或者UB协议)与RDMA协议实现适配。在本申请中，该数据处理系统中包括：第一计算集群、第二计算集群和连接设备，其中，第一计算集群中包括第一计算设备，第二计算集群中包括第二计算设备。进一步的，连接设备与第一计算设备连接，连接设备用于管理第一计算设备提供的第一计算集群的内存地址信息，及第二计算设备提供的第二计算集群的内存地址信息；第一计算设备用于：接收访问请求，访问请求用于访问第二计算设备的内存空间；从连接设备管理的第二计算集群的内存地址信息中查找内存空间的地址；根据地址访问第二计算设备中的内存空间。
-
公开(公告)号：CN117762320A
公开(公告)日：2024-03-26
申请号：CN202211128342.2
申请日：2022-09-16
Applicant: 成都华为技术有限公司
IPC: G06F3/06
Abstract: 本申请提供了一种数据迁移方法，用于提高分布式处理系统处理数据的死地。所述方法包括：响应于第一节点的内存中第一数据处理完成，根据第一处理任务确定第二节点，所述第二节点的内存中存储有第二数据，所述第二数据为所述第一处理任务中在所述第一数据之后被处理的数据；向第二节点发送计算元数据，所述第二节点用于根据所述计算元数据继续执行所述第一处理任务。另外，本申请还提供了对应的装置、计算设备集群、芯片、计算机可读存储介质以及计算机程序产品。
-
公开(公告)号：CN116932196A
公开(公告)日：2023-10-24
申请号：CN202210633694.7
申请日：2022-06-06
Applicant: 华为技术有限公司
IPC: G06F9/50
Abstract: 公开了融合系统的数据处理方法、装置、设备和系统，涉及数据领域。该融合系统包括计算节点和存储节点。计算节点通过网络与存储节点连接构建了存算分离架构。计算节点的存储介质和存储节点的存储介质经过统一编址构成全局内存池，即计算节点和存储节点共享的全局存储介质。对系统进行读写操作时，获取到处理请求数据，根据内存操作指令对全局内存池进行处理请求数据的内存操作。从而，基于具有全局内存池的存算分离架构既确保计算和存储分别按需灵活扩展，又能够快速地对系统进行读写操作，缩短了端到端的数据处理时长，提升了数据传输速度，降低了系统能耗，改善了系统性能瓶颈。
-
公开(公告)号：CN115480908A
公开(公告)日：2022-12-16
申请号：CN202111007559.3
申请日：2021-08-30
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种内存池化以及相关装置，用于提高分布式应用程序的性能。本申请实施例方法包括：服务器集群确定第一分布式应用程序的第一内存需求，第一内存需求用于指示内存的大小，服务器集群根据第一内存需求以及服务器集群中每个服务器节点可用的内存资源，确定服务器集群中的N个第一服务器节点，基于N个第一服务器节点构建第一内存池，服务器集群使用第一内存池向第一分布式应用程序提供服务。
-
公开(公告)号：CN113961139A
公开(公告)日：2022-01-21
申请号：CN202011269034.2
申请日：2020-11-13
Applicant: 华为技术有限公司
IPC: G06F3/06 , G06F12/02 , H04L67/288
Abstract: 本申请实施例提供一种使用中间设备进行数据处理的方法、计算机系统、及中间设备。所述计算系统包括计算节点、存储节点和中间设备。所述计算节点上运行业务，所述存储节点上存储所述业务的数据。所述业务设置有存储空间，所述业务通过访问所述存储空间对存储节点中的业务的数据进行操作,所述存储空间例如为持久化日志空间(PLOG)。本申请实施例将所述存储空间的元数据存储在所述中间设备中，由所述中间设备对所述存储空间的元数据进行管理，并根据所述存储空间的元数据实现所述计算节点与所述存储节点之间的数据操作。所述中间设备例如为交换机。使用本申请提供的方案，可以减少计算节点的负载，还可以降低数据的访问时延。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.053 seconds)
