DRAM-NVM混合索引结构的构建方法及操作方法

    公开(公告)号:CN113590612B

    公开(公告)日:2024-08-27

    申请号:CN202110789870.1

    申请日:2021-07-13

    Abstract: 本发明公开了一种DRAM‑NVM混合索引结构的构建方法及操作方法,所构建的索引结构包括索引层、中间层和数据层;索引层存储在DRAM中;中间层包括元数据节点,存储在DRAM中,且在NVM中存在备份;数据层包括LogTree,LogTree为树形结构,其个数与元数据节点的个数相同,与元数据节点一一对应;初始状态下,LogTree存储于NVM中,记为NvmTree;在读写过程中,将访问热度大于预设访问热度阈值的LogTree进行备份并缓存在DRAM中来创建CacheTree;此时,LogTree包括初始存储于NVM中的NvmTree、缓存在DRAM中的CacheTree和存储于NVM中的日志;日志用于存储对CacheTree进行写操作的记录;数据层中的LogTree用于存储用户写入的键值对中的目标关键字key和指向value的指针;本发明能够在保证读写性能的前提下,能够大大加快故障恢复的过程。

    DRAM-NVM混合索引结构的构建方法及操作方法

    公开(公告)号:CN113590612A

    公开(公告)日:2021-11-02

    申请号:CN202110789870.1

    申请日:2021-07-13

    Abstract: 本发明公开了一种DRAM‑NVM混合索引结构的构建方法及操作方法,所构建的索引结构包括索引层、中间层和数据层;索引层存储在DRAM中;中间层包括元数据节点,存储在DRAM中,且在NVM中存在备份;数据层包括LogTree,LogTree为树形结构,其个数与元数据节点的个数相同,与元数据节点一一对应;初始状态下,LogTree存储于NVM中,记为NvmTree;在读写过程中,将访问热度大于预设访问热度阈值的LogTree进行备份并缓存在DRAM中来创建CacheTree;此时,LogTree包括初始存储于NVM中的NvmTree、缓存在DRAM中的CacheTree和存储于NVM中的日志;日志用于存储对CacheTree进行写操作的记录;数据层中的LogTree用于存储用户写入的键值对中的目标关键字key和指向value的指针;本发明能够在保证读写性能的前提下,能够大大加快故障恢复的过程。

    一种基于聚合的键值存储方法及系统

    公开(公告)号:CN118502670A

    公开(公告)日:2024-08-16

    申请号:CN202410673217.2

    申请日:2024-05-28

    Abstract: 本发明公开了一种基于聚合的键值存储方法及系统,属于键值存储领域,方法包括:根据目录、文件名和文件元数据构造键值对,在内存中维护聚合缓冲区,记录各pinode下新写入的键值对数据;当聚合缓冲区中的键值对数据总量较大,或者某一个pinode对应的键值对数据量较大时,将键值对数据持久化到SSD中的聚合数据块;当某个pinode的分散度较大时,将该pinode下的分散数据块聚合到连续的聚合数据块中;当某个pinode下的无效数据较多时,对该pinode下的键值对数据进行合并;在内存中维护两级索引,一级用于记录pinode到二级哈希表的映射关系;二级哈希表用于记录对应pinode下的键值对数据的索引。本发明能够提高元数据键值对存储系统的访问性能。

    一种基于环状虚拟双控的多控制器实现方法

    公开(公告)号:CN106527978A

    公开(公告)日:2017-03-22

    申请号:CN201610912391.3

    申请日:2016-10-19

    Abstract: 本发明公开了一种基于环状虚拟双控的多控制器的实现方法,本方法将一个物理磁盘控制器映射成两个虚拟控制器,多个物理磁盘控制器映射的虚拟控制器构成虚拟控制器环,相邻且不属于同一个物理磁盘控制器的两个虚拟控制器形成一组虚拟双控,构成环状虚拟双控;存储卷通过多组虚拟双控映射访问,每组虚拟双控根据接收的请求的类型进行分类处理。每组虚拟双控中的两个虚拟控制器相互形成镜像;当增加或移出物理磁盘控制器,系统可以快速重构为一个新的虚拟控制器环,并对控制器的负载进行重新分布。本方法能提高系统读写性能,同时保证数据的可靠性和负载均衡;具有良好的可扩展性和故障处理能力。

    一种虚拟SSD与SSD异构镜像的磁盘阵列缓存方法

    公开(公告)号:CN103645859B

    公开(公告)日:2016-04-13

    申请号:CN201310583574.1

    申请日:2013-11-19

    Abstract: 本发明公开了一种虚拟SSD与SSD异构镜像的磁盘阵列缓存方法,包括:将磁盘进行逻辑分区为两个部分。其中上半部分组成RAID0或RAID5结构作为虚拟SSD。用于备份真实SSD中脏数据。虚拟SSD采用日志写的方式。并设置有ram写缓存。下半部分根据用户需要组装成不同RAID结构,用作数据阵列,以存放冷数据。建立数据盘和真实SSD缓存之间地址映射哈希查找表。设置计时器,用于定期地将虚拟SSD的ram写缓存中缓存的数据写入到虚拟SSD中。接收来自上层文件系统的请求。对于读请求,当读请求不在真实SSD中命中时,从数据阵列中读取数据即可。本发明提出了一种兼顾性能,可靠性和成本开销的方案。

    一种基于动态RAID系统的扩容方法

    公开(公告)号:CN102200892A

    公开(公告)日:2011-09-28

    申请号:CN201110111802.6

    申请日:2011-04-29

    Abstract: 本发明的目的在于提供一种基于动态RAID系统的扩容方法,该扩容方法首先将动态RAID系统划分为若干个条带集,之后选择一个条带集p,并选择编号为p-q的条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变,并更新地址映射表,其中q=(p)mod(m+n),r=(q)mod(n),最后按照上述步骤遍历所有条带集完成扩容。所述的动态RAID系统是在传统RAID系统中增加了一个条带集的概念,通过条带集的引入使得通过磁盘来访问数据变成通过条带集来访问数据。本发明所述的扩容方法可以达到理论上的数据迁移最小值,且迁移的单位是条带集单元,迁移同样的数据量需要的时间更少。

    基于混合内存的NUMA感知的键值存储系统及操作方法

    公开(公告)号:CN118779255A

    公开(公告)日:2024-10-15

    申请号:CN202410768036.8

    申请日:2024-06-14

    Abstract: 本发明公开了基于混合内存的NUMA感知的键值存储系统及操作方法,属于键值存储领域,系统包括:多个NUMA节点;各NUMA节点的PM内,键值对数据以日志项的形式追加写入日志文件中;各NUMA节点的DRAM内的第一存储区域构成易失性索引层,用于存储键和最新的值所在日志项的地址信息;各NUMA节点的DRAM内的第二存储区域构成RAF缓存,用于缓存键值对数据,访问频率越高、发起访问请求的NUMA节点访问键值对数据所在NUMA节点的PM的延迟越高的键值对数据,相应的缓存收益越大;RAF缓存发生替换时,选取缓存收益最小的条目进行替换。本发明能够优化跨NUMA节点的PM访问性能,提供高效的键值存储服务。

    一种基于NVM与SSD混合存储结构的键值存储系统

    公开(公告)号:CN110347336B

    公开(公告)日:2020-07-10

    申请号:CN201910497294.6

    申请日:2019-06-10

    Abstract: 本发明公开了一种基于NVM与SSD混合存储结构的键值存储系统,属于数据存储技术领域。本发明提出NVM与SSD混合存储的键值存储系统,在NVM上使用多个RangeTab结构来组织LSM‑Tree的第0层键值数据,传统LSM‑Tree结构的0层中各SSTable键范围是无序的,且键范围允许重叠,合并时因为较大的键范围容易读写更多的数据量,增加合并操作的时延,而本发明在第0层使用RangeTab结构重新组织键值数据,将多个RangeTab映射到不同且互不重叠的键范围中,Memtable键值数据由键范围将键值数据写入相应的RangeTab结构中,以缩短该层结构数据的合并时延;通过适当增加RangeTab结构的数量来增大所有RangeTab的数据容量。在相邻层容量之比保持不变的条件下,本发明每层能够容纳更多的数据量,LSM‑Tree结构层数减少,系统合并的次数也会降低。

    一种基于环状虚拟双控的多控制器实现方法

    公开(公告)号:CN106527978B

    公开(公告)日:2019-07-09

    申请号:CN201610912391.3

    申请日:2016-10-19

    Abstract: 本发明公开了一种基于环状虚拟双控的多控制器的实现方法,本方法将一个物理磁盘控制器映射成两个虚拟控制器,多个物理磁盘控制器映射的虚拟控制器构成虚拟控制器环,相邻且不属于同一个物理磁盘控制器的两个虚拟控制器形成一组虚拟双控,构成环状虚拟双控;存储卷通过多组虚拟双控映射访问,每组虚拟双控根据接收的请求的类型进行分类处理。每组虚拟双控中的两个虚拟控制器相互形成镜像;当增加或移出物理磁盘控制器,系统可以快速重构为一个新的虚拟控制器环,并对控制器的负载进行重新分布。本方法能提高系统读写性能,同时保证数据的可靠性和负载均衡;具有良好的可扩展性和故障处理能力。

    一种云端移动端协同的故障预警方法、相关设备及系统

    公开(公告)号:CN109634820A

    公开(公告)日:2019-04-16

    申请号:CN201811296138.5

    申请日:2018-11-01

    Abstract: 本发明公开了一种云端移动端协同的故障预警方法、相关设备及系统,通过移动端监控用户数据信息,云端接收移动端发送的数据,对移动端发送的数据进行处理,得到故障预警模型并将故障预警模型下发给移动端,移动端获取故障预警模型进行故障预警。该方法利用云端的高计算能力和大的存储空间能够有效解决用户移动端资源有限,机器学习模型训练过程中对计算能力和存储空间的需求。同时云端能够提供大量的用户数据,解决了单纯使用用户移动端数据量不足的问题,使得预警模型得到充分的训练,并且针对每种类型的移动端都训练一个预警模型能够有效提高故障预警的精确度。

Patent Agency Ranking