-
公开(公告)号:CN119127564A
公开(公告)日:2024-12-13
申请号:CN202411308087.9
申请日:2024-09-19
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F11/10
Abstract: 本申请属于计算机存储技术领域,具体公开了一种低修复带宽的纠删码编码方法及装置。本申请,通过将k个数据块和m个校验块组成一个条带,在使用纠删码编码方式的分布式存储系统中,通过将该条带子条带化,并将部分子条带中的子数据块的校验信息嵌入到其他子条带的子校验块中,从而在一个分布式存储系统中的存储节点失效时,能够通过这些嵌入的校验信息来减少部分子条带的修复带宽。
-
公开(公告)号:CN119088305A
公开(公告)日:2024-12-06
申请号:CN202411197088.0
申请日:2024-08-29
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储领域,具体公开了一种空洞整理方法、装置、电子设备和存储介质,该方法包括:对于有空洞的条带组,在第一方案和第二方案中,选择消耗磁盘I/O较少的方案,对空洞区域进行整理;其中,所述第一方案为当新数据请求到达时,将新数据写入空洞区域;所述第二方案为将条带组中每个逻辑块内的有效数据整理到条带组中的连续数据空间进行存储,当新数据请求到达时,将新数据顺序写入所述连续数据空间以外的空洞区域,通过该方法可以减少数据的迁移引起的磁盘I/O操作,从而提高系统性能和可靠性。
-
公开(公告)号:CN110347526A
公开(公告)日:2019-10-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN110231999A
公开(公告)日:2019-09-13
申请号:CN201910454764.0
申请日:2019-05-29
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。
-
公开(公告)号:CN110427156B
公开(公告)日:2020-09-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535A
公开(公告)日:2019-11-12
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110427156A
公开(公告)日:2019-11-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535B
公开(公告)日:2021-06-11
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110347526B
公开(公告)日:2020-12-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN110231999B
公开(公告)日:2020-05-19
申请号:CN201910454764.0
申请日:2019-05-29
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。
-
-
-
-
-
-
-
-
-