-
公开(公告)号：CN119292514A
公开(公告)日：2025-01-10
申请号：CN202411171666.3
申请日：2020-11-13
Applicant: 华为技术有限公司
IPC: G06F3/06 , G06F12/02 , H04L67/568
Abstract: 本申请实施例提供一种使用中间设备进行数据处理的方法、计算机系统、及中间设备。所述计算系统包括计算节点、存储节点和中间设备。所述计算节点上运行业务，所述存储节点上存储所述业务的数据。所述业务设置有存储空间，所述业务通过访问所述存储空间对存储节点中的业务的数据进行操作,所述存储空间例如为持久化日志空间(PLOG)。本申请实施例将所述存储空间的元数据存储在所述中间设备中，由所述中间设备对所述存储空间的元数据进行管理，并根据所述存储空间的元数据实现所述计算节点与所述存储节点之间的数据操作。所述中间设备例如为交换机。使用本申请提供的方案，可以减少计算节点的负载，还可以降低数据的访问时延。
-
公开(公告)号：CN117436499A
公开(公告)日：2024-01-23
申请号：CN202211634067.1
申请日：2022-12-19
Applicant: 华为技术有限公司
IPC: G06N3/084 , G06N3/0464 , G06N3/048 , G06F13/42
Abstract: 本申请提供了一种模型训练系统，应用于模型训练系统，其中，模型训练系统中的第二节点用于发送多个参数获取请求至第一节点；第一节点用于根据多个参数获取请求确定多个参数获取请求所获取的参数分别存储在第一内存及第二内存，将从第一内存及第二内存获取的参数进行合并，并将合并后的参数发送至第二节点；第二节点还用于接收合并后的参数，并使用合并后的参数对模型进行训练。本申请将从第一内存和第二内存中获取到的参数进行合并后发送，尤其在推荐模型训练等节点之间需要传递的参数数量较多的场景中，可以使得传输的报文数量大大降低，进而提高数据的传输效率。
-
公开(公告)号：CN114625762A
公开(公告)日：2022-06-14
申请号：CN202011360768.1
申请日：2020-11-27
Applicant: 华为技术有限公司
IPC: G06F16/2455 , G06F16/2457 , G06F16/22 , H04L67/01
Abstract: 本申请提供了一种元数据获取方法，应用于网络设备，该网络设备用于连接客户端及服务端，服务端的内存中缓存有应用的部分数据的元数据信息，该方法包括以下步骤：接收客户端发送目标元数据的访问请求；在内存中访问请求指定的位置处获取元数据信息；将所获取的元数据信息与目标元数据的信息比较确定目标元数据是否存储在内存中；当目标元数据存储在内存中时，获取目标元数据并将目标元数据传输至客户端，当在内存中没有查到目标元数据时，网卡会继续请求服务端的处理器查询目标元数据，而不需要通知客户端，由客户端再发一次查询请求至服务器的处理器，从而减少客户端的负载、节省了网络带宽、还降低了元数据的查询时延。
-
公开(公告)号：CN108121504B
公开(公告)日：2021-01-29
申请号：CN201711137647.9
申请日：2017-11-16
Applicant: 成都华为技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据删除方法及装置，属于计算机领域。所述方法包括：在获取到第一数据的操作请求，且已存储有与所述第一数据相重复的第二数据时，获取所述第二数据的引用计数；所述操作请求为写请求或删除请求，所述引用计数用于指示所述第二数据被引用的次数；确定所述引用计数是否达到计数上限值；在所述引用计数达到所述计数上限值时，维持所述引用计数为所述计数上限值不变；可以解决引用计数占用的存储空间较大的问题；由于引用计数不再随着写请求的增加而增大，使得引用计数占用的存储空间能够维持在较小的范围内，因此，仅需要为引用计数设置较小的存储空间，可以达到节省引用计数占用的存储空间的效果。
-
公开(公告)号：CN106383670B
公开(公告)日：2020-02-14
申请号：CN201610839436.9
申请日：2016-09-21
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本发明实施例提供了一种数据处理方案，在该数据处理方案中，存储设备存储有第一映射关系，第一映射关系包括第一特征值与特定格式数据的映射，存储设备计算第一数据块得到第一数据块的特征值，第一数据块的特征值为第一特征值；存储设备根据第一数据块的第一特征值查询第一映射关系确定第一映射关系中包含第一特征值，则第一数据块属于特定格式数据，存储设备不再对第一数据块进行重复数据删除操作。
-
Patent Agency Ranking
公开(公告)号：CN108121504A
公开(公告)日：2018-06-05
申请号：CN201711137647.9
申请日：2017-11-16
Applicant: 成都华为技术有限公司
IPC: G06F3/06
CPC classification number: G06F3/0641 , G06F3/0608
Abstract: 本申请公开了一种数据删除方法及装置，属于计算机领域。所述方法包括：在获取到第一数据的操作请求，且已存储有与所述第一数据相重复的第二数据时，获取所述第二数据的引用计数；所述操作请求为写请求或删除请求，所述引用计数用于指示所述第二数据被引用的次数；确定所述引用计数是否达到计数上限值；在所述引用计数达到所述计数上限值时，维持所述引用计数为所述计数上限值不变；可以解决引用计数占用的存储空间较大的问题；由于引用计数不再随着写请求的增加而增大，使得引用计数占用的存储空间能够维持在较小的范围内，因此，仅需要为引用计数设置较小的存储空间，可以达到节省引用计数占用的存储空间的效果。
-
-
公开(公告)号：CN103547329B
公开(公告)日：2016-11-02
申请号：CN201280003372.9
申请日：2012-12-12
Applicant: 华为技术有限公司
CPC classification number: G06F17/30156 , G06F3/0608 , G06F3/0641 , G06F3/067 , G06F17/30
Abstract: 本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。
-
公开(公告)号：CN103547329A
公开(公告)日：2014-01-29
申请号：CN201280003372.9
申请日：2012-12-12
Applicant: 华为技术有限公司
IPC: A99Z99/00
CPC classification number: G06F17/30156 , G06F3/0608 , G06F3/0641 , G06F3/067 , G06F17/30
Abstract: 本发明实施例对接收的数据流进行重复数据查询的时候，会根据代表数据流的第一特征值，确定每个第一特征值在所述集群系统中对应的第一物理节点，然后将代表数据流的第一特征值发送到确定的物理节点上进行重复数据查询，重复数据的查询流程不会因为集群系统中节点数的增加而改变，因此不会因为集群系统中节点数的增加而使每个节点的计算量也随之增加。
-
公开(公告)号：CN115470154A
公开(公告)日：2022-12-13
申请号：CN202111036692.1
申请日：2021-09-06
Applicant: 华为技术有限公司
Abstract: 一种数据访问方法，在该方法中，存储系统包括多个节点，其中，存储系统的内存池包括多个节点中的复数个节点的内存，多个节点中还包括第一节点，该第一节点包括接口卡，则该方法包括：接口卡接收第一应用的数据访问请求，该数据访问请求包括目标数据在内存池中的目标全局内存地址，其中，第一应用可以来自于存储系统中任意一个节点，并且目标全局内存地址对应所述内存池中唯一的存储空间；然后，接口卡根据目标全局内存地址得到目标数据的目标局部内存地址，其中，目标局部内存地址用于指示目标数据在存储目标数据的节点的内存中的存储空间；最后，接口卡向第一应用发送目标数据，或者目标局部内存地址。该方法能有效提高内存池中数据操作性能。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.042 seconds)
