-
公开(公告)号:CN111026329B
公开(公告)日:2021-04-20
申请号:CN201911125920.5
申请日:2019-11-18
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。
-
公开(公告)号:CN110888886B
公开(公告)日:2022-11-11
申请号:CN201911212016.8
申请日:2019-11-29
Applicant: 华中科技大学
IPC: G06F16/22
Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。
-
公开(公告)号:CN110968269A
公开(公告)日:2020-04-07
申请号:CN201911125952.5
申请日:2019-11-18
Applicant: 华中科技大学
IPC: G06F3/06 , G06F12/02 , G06F12/0891
Abstract: 本发明公开了涉及基于SCM与SSD的键值存储系统及读写请求处理方法,属于信息存储技术领域。包括:该系统在写入一个键值对时,将value的元数据及key存储到SCM中,并以哈希的方式进行组织,value以日志方式存储到SSD中。本发明结合SCM与SSD的特点,采用混合存储的方式进行存储,将键值对中key以及其他与value相关的源信息存储到SCM中,将value的实际值存储到SSD中。键值存储系统总体采用了半同步半异步式I/O模型,并结合多线程技术,通过上层异步提交请求,下层同步处理请求的方式,使系统能够并发地处理请求,以提升系统的处理效率。对于SSD,本发明提出了逻辑空间放大的策略,将逻辑空间放大到物理空间的数倍,通过重映射以达到减少有效数据迁移的目的。
-
公开(公告)号:CN118502670A
公开(公告)日:2024-08-16
申请号:CN202410673217.2
申请日:2024-05-28
Applicant: 华中科技大学
IPC: G06F3/06 , G06F16/13 , G06F16/14 , G06F16/172
Abstract: 本发明公开了一种基于聚合的键值存储方法及系统,属于键值存储领域,方法包括:根据目录、文件名和文件元数据构造键值对,在内存中维护聚合缓冲区,记录各pinode下新写入的键值对数据;当聚合缓冲区中的键值对数据总量较大,或者某一个pinode对应的键值对数据量较大时,将键值对数据持久化到SSD中的聚合数据块;当某个pinode的分散度较大时,将该pinode下的分散数据块聚合到连续的聚合数据块中;当某个pinode下的无效数据较多时,对该pinode下的键值对数据进行合并;在内存中维护两级索引,一级用于记录pinode到二级哈希表的映射关系;二级哈希表用于记录对应pinode下的键值对数据的索引。本发明能够提高元数据键值对存储系统的访问性能。
-
公开(公告)号:CN111026329A
公开(公告)日:2020-04-17
申请号:CN201911125920.5
申请日:2019-11-18
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。
-
公开(公告)号:CN110888886A
公开(公告)日:2020-03-17
申请号:CN201911212016.8
申请日:2019-11-29
Applicant: 华中科技大学
IPC: G06F16/22
Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。
-
-
-
-
-