一种基于学习索引的数据重删方法和系统

    公开(公告)号:CN118567562A

    公开(公告)日:2024-08-30

    申请号:CN202410699704.6

    申请日:2024-05-31

    Abstract: 本发明公开了一种基于学习索引的数据重删方法和系统,包括:若数据块请求为写请求,则将数据块写入内存缓存并计算指纹值,将指纹值和逻辑页地址写入LPA‑FP索引表;若内存缓存中的所有数据块的数量达到阈值,则为内存缓存中的所有数据块分配对应的物理页地址,并生成若干个FP‑PPA映射,根据若干个FP‑PPA映射通过分段线性回归计算得到FP‑PPA表达式,将FP‑PPA表达式写入内存缓存和闪存,并将内存缓存中的所有数据块写入闪存,将数据块及其相邻数据块的指纹值保存在带外数据区域;若数据块请求为读请求,则根据逻辑页地址在LPA‑FP索引表中查找指纹值,根据指纹值和FP‑PPA表达式计算出物理页地址并在闪存中查询所要读取的数据块,以减少内存缓存的空间并加快物理页地址的查找速度。

    基于子文件的数据重删方法、装置及可读介质

    公开(公告)号:CN116775588A

    公开(公告)日:2023-09-19

    申请号:CN202310793835.6

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。

    基于变长指纹的数据重删方法、装置及可读介质

    公开(公告)号:CN116820343A

    公开(公告)日:2023-09-29

    申请号:CN202310801832.2

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于变长指纹的数据重删方法、装置及可读介质,对输入文件进行分块,根据数据块的长度采用不同的哈希算法计算数据块对应的指纹;响应于在LRU缓存中查询不到该指纹,则根据该指纹所对应的哈希算法在不同的持久化存储介质中查询;响应于在持久化存储介质中查询到该指纹,将该指纹和元数据存入LRU缓存中,并利用局部性原理将包含该指纹的输入文件中同属于同一持久化存储介质的指纹全部存入LRU缓存中;响应于在持久化存储介质中查询不到该指纹,则构建该指纹的元数据并存储在对应的持久化存储介质,并将该指纹对应的数据块存储在开放容器中,在持久化存储介质中采用对应格式的指纹存储文件对元数据进行分类存储,加快查找。

    分配网际协议IP磁盘的方法及装置

    公开(公告)号:CN107491265B

    公开(公告)日:2021-05-25

    申请号:CN201610411513.0

    申请日:2016-06-12

    Inventor: 陈伟 汪渭春

    Abstract: 本发明公开了一种分配网际协议IP磁盘的方法及装置。其中,该方法包括:接收客户端发送的数据读写请求;计算当前选中的IP磁盘执行最近N次数据读写操作所消耗的平均时间,其中,N为正整数;判断平均时间是否小于基准时间,其中,基准时间为预设磁盘执行数据读写操作所消耗的时间;在判断出平均时间小于基准时间的情况下,将数据读写请求分配给当前选中的IP磁盘。本发明解决了相关技术中IP磁盘由于处理能力有限,无法给管理服务器提供实时信息,因而无法制定出合理的负载均衡策略,最终导致管理服务器的负载均衡效果不佳的技术问题。

    一种数据存储、删除方法、装置及分布式存储系统

    公开(公告)号:CN107656695B

    公开(公告)日:2020-12-25

    申请号:CN201610586825.5

    申请日:2016-07-25

    Abstract: 本发明提供了一种数据存储、删除方法、装置及分布式存储系统,该方法中,接收待存储的目标数据及对应的网络地址信息,生成目标数据对应的标识信息及标识信息与网络地址信息的第一对应关系,将目标数据及标识信息发送给网络地址信息对应的存储服务器,使其存储目标数据,将标识信息与保存位置信息的第二对应关系发送给网关服务器;如果在预设时间段内未接收到第二对应关系,将第一对应关系作为数据存储信息发送至元数据服务器。本发明中,通过在未接收到第二对应关系时,将第一对应关系作为数据存储信息发送至元数据服务器的方式,使元数据服务器确定目标数据在存储服务器中的保存位置信息未被传输。

    数据存储方法及设备、分布式存储系统

    公开(公告)号:CN109257403A

    公开(公告)日:2019-01-22

    申请号:CN201710576191.X

    申请日:2017-07-14

    Abstract: 本申请公开了一种数据存储方法及设备、分布式存储系统,属于通信技术领域。该方法包括:管理服务器向ESS同步多个存储服务器的属性信息;ESS在监测到管理服务器处于非正常状态时,基于第一虚拟网络地址获取终端发送的存储请求消息;ESS根据存储请求消息以及多个存储服务器的属性信息,确定用于存储终端中数据的第一存储服务器,并基于第一虚拟网络地址向终端发送存储响应消息;第一存储服务器接收终端发送的包括写入数据的写入请求消息,并存储写入数据。本申请解决了数据存储的可靠性较低的问题,提高了数据存储的可靠性。

    硬盘管理方法和系统
    8.
    发明公开

    公开(公告)号:CN107678906A

    公开(公告)日:2018-02-09

    申请号:CN201610632372.5

    申请日:2016-08-01

    Abstract: 本发明公开了一种硬盘管理方法和系统,以至少解决管理服务器的负担重的问题。其中,该系统包括:至少一个对象服务器,用于向管理服务器发送第一请求,其中,第一请求用于请求获取对象硬盘信息;管理服务器,用于在接收到第一请求之后,从保存的数据表中获取与对象服务器对应的对象硬盘信息,并将对象硬盘信息发送至对象服务器;对象服务器还用于监控和管理对象硬盘信息所指向的对象硬盘组。

    视频流的存储方法、读取方法及装置

    公开(公告)号:CN106713940A

    公开(公告)日:2017-05-24

    申请号:CN201510471364.2

    申请日:2015-08-04

    Inventor: 陈伟 汪渭春

    Abstract: 本发明公开了一种视频流的存储方法、读取方法及装置。其中,该方法包括:将获取到的视频流分离为I帧数据以及与所述I帧数据对应的非I帧数据,其中,所述非I帧数据包含所述视频流中除所述I帧数据以外的数据;获取由数据存储服务器为所述非I帧数据分配的存储地址,并将所述非I帧数据存储至所述存储地址所指向的所述数据存储服务器的存储空间中;将所述存储地址添加至所述I帧数据中;将包含有所述存储地址的所述I帧数据存储至所述数据存储服务器。本发明解决了由于现有技术在存储视频流时是按照视频流发来的顺序依次逐帧进行存储造成的视频流存储效率较低的技术问题。

    分布式存储系统中的数据存储方法、装置及系统

    公开(公告)号:CN109947842B

    公开(公告)日:2021-06-18

    申请号:CN201710626270.7

    申请日:2017-07-27

    Abstract: 一种分布式存储系统中的数据存储方法、装置及系统,属于计算机应用技术领域。方法包括:接收数据存储请求,数据存储请求中携带第一数据的对象信息;根据第一数据的对象信息和已存储数据的对象信息,检测第一数据是否为对已存储数据进行修改的数据;在检测出第一数据是对已存储的第二数据进行修改的数据时,获取第二数据对应的条带信息;若确定出第二数据所属的数据块的数量为n,则确定第一数据被划分为n个目标数据块,并分配未使用的条带标识给n个目标数据块;为n个目标数据块分配存储节点;发送数据存储响应。本发明实施例避免了修改存储数据时对不必要数据的读取,减少了分布式存储中大量的读数据操作,节省了处理开销。

Patent Agency Ranking