-
公开(公告)号:CN104503863B
公开(公告)日:2017-08-11
申请号:CN201410643995.3
申请日:2014-11-07
Applicant: 清华大学
Inventor: 余宏亮
CPC classification number: G06F11/1469 , G06F2201/815
Abstract: 本发明涉及用于虚拟容器系统容灾的内核态与用户态数据交换方法,本发明借助FUSE将所有的恢复工作都移到用户态来完成,首先实现一个FUSE文件系统,将其中的一个文件映射到为/DEV/LOOP设备,然后将这个LOOP设备当做要恢复的磁盘的影子设备,虚拟机管理器利用这个LOOP设备启动虚拟容器。于是对原先硬盘的访问会在FUSE文件系统里被截获,FUSE文件系统再与服务器通信,从而实现高效的数据按需恢复。
-
公开(公告)号:CN101963982A
公开(公告)日:2011-02-02
申请号:CN201010294016.X
申请日:2010-09-27
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于位置敏感哈希的删冗存储系统元数据管理方法,该方法利用位置敏感哈希函数快速将相似文件数据块元数据组织在一起,从而在对删冗存储系统写入数据块时,能快速查找到是否系统中已经存在该数据块,提高删冗存储系统的元数据查找性能,最终提高系统吞吐率。在该方法中通过设置使用的位置敏感哈希函数数量,调整相似文件识别率,从而改变元数据管理系统查询速度、内存开销和删冗效果。通过这种方法可以使元数据管理适应不同删冗存储系统要求,并且通过使用多个哈希函数可以提高相似文件识别率,提高删冗存储系统的删冗能力并减少元数据索引内存开销。
-
公开(公告)号:CN104503863A
公开(公告)日:2015-04-08
申请号:CN201410643995.3
申请日:2014-11-07
Applicant: 清华大学
Inventor: 余宏亮
CPC classification number: G06F11/1469 , G06F2201/815
Abstract: 本发明涉及用于虚拟容器系统容灾的内核态与用户态数据交换方法,在一次虚拟容器的容灾备份中,需要在内核态和用户态之间交换数据,需要将内核态的文件系统操作传递给用户态程序处理,再将处理结果传回内核态,再传递给原始应用程序。数据块恢复的速度慢主要是因为需要多次内核态和用户态的切换,内核和用户态通信的效率不够高。本发明借助FUSE将所有的恢复工作都移到用户态来完成,首先实现一个FUSE文件系统,将其中的一个文件映射到为/DEV/LOOP设备,然后将这个LOOP设备当做要恢复的磁盘的影子设备,虚拟机管理器利用这个LOOP设备启动虚拟容器。于是对原先硬盘的访问会在FUSE文件系统里被截获,FUSE文件系统再与服务器通信,从而实现高效的数据按需恢复。
-
公开(公告)号:CN101963982B
公开(公告)日:2012-07-25
申请号:CN201010294016.X
申请日:2010-09-27
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于位置敏感哈希的删冗存储系统元数据管理方法,该方法利用位置敏感哈希函数快速将相似文件数据块元数据组织在一起,从而在对删冗存储系统写入数据块时,能快速查找到是否系统中已经存在该数据块,提高删冗存储系统的元数据查找性能,最终提高系统吞吐率。在该方法中通过设置使用的位置敏感哈希函数数量,调整相似文件识别率,从而改变元数据管理系统查询速度、内存开销和删冗效果。通过这种方法可以使元数据管理适应不同删冗存储系统要求,并且通过使用多个哈希函数可以提高相似文件识别率,提高删冗存储系统的删冗能力并减少元数据索引内存开销。
-
公开(公告)号:CN102136993A
公开(公告)日:2011-07-27
申请号:CN201010243657.2
申请日:2010-07-29
IPC: H04L12/56
Abstract: 本发明实施例公开了一种数据迁移的方法、装置和系统,其中方法的实现包括:计算各存储条带的重写率,所述存储条带由需要进行数据迁移的存储空间分段得到;向目的主机优先发送重写率低的存储条带中的脏数据;在脏数据发送状态达到预设要求后结束数据迁移。通过采用将需要进行数据迁移的存储空间分段得到存储条带;优先向目的主机发送重写率低的存储条带中的脏数据技术手段,从而利用空间局部性原理和时间局部性原理,将重写率较高的存储空间的脏数据延迟发送,利用写合并吸收更多的内存写操作,减少了脏数据的传输,从而减少了数据传输量。
-
公开(公告)号:CN102136993B
公开(公告)日:2016-12-21
申请号:CN201010243657.2
申请日:2010-07-29
IPC: H04L12/70
Abstract: 本发明实施例公开了一种数据迁移的方法、装置和系统,其中方法的实现包括:计算各存储条带的重写率,所述存储条带由需要进行数据迁移的存储空间分段得到;向目的主机优先发送重写率低的存储条带中的脏数据;在脏数据发送状态达到预设要求后结束数据迁移。通过采用将需要进行数据迁移的存储空间分段得到存储条带;优先向目的主机发送重写率低的存储条带中的脏数据技术手段,从而利用空间局部性原理和时间局部性原理,将重写率较高的存储空间的脏数据延迟发送,利用写合并吸收更多的内存写操作,减少了脏数据的传输,从而减少了数据传输量。
-
公开(公告)号:CN102841852B
公开(公告)日:2015-06-17
申请号:CN201110172809.9
申请日:2011-06-24
IPC: G06F12/06
CPC classification number: G06F12/109 , G06F12/0246 , G06F2212/7211
Abstract: 本发明实施例提供一种磨损均衡方法、存储装置及信息系统,存储空间被分割成多个大小相同的存储子空间,每个存储子空间被分割成多个大小相同的存储块,每个存储块对应一个逻辑地址和一个物理地址,所述逻辑地址和物理地址具有唯一映射的关系;该方法包括:记录所述每个存储子空间的累积写操作次数;当所述多个存储子空间中的任意一个存储子空间的累积写操作次数达到预定的重映率时,将所述存储子空间的逻辑地址映射到重映射物理地址。通过本发明实施例的磨损均衡方法、存储装置及信息系统,可以将局部的写操作过多的数据块的逻辑地址均衡映射到全物理存储空间,从而避免局部数据过热,延长存储介质的使用寿命。
-
公开(公告)号:CN104572357A
公开(公告)日:2015-04-29
申请号:CN201410841786.X
申请日:2014-12-30
Applicant: 清华大学
IPC: G06F11/16
Abstract: 本发明公开了一种用于HDFS系统的备份和恢复方法,包括如下步骤:向备份服务器传送备份数据的步骤:输入备份命令,生成一次全备份;检测HDFS系统行为,并定时生成增量备份;将增量备份多线程传输至备份服务器;从备份服务器获取备份数据的步骤:指定文件恢复选项参数;按文件恢复选项参数从备份服务器下载备份数据。本发明在数据块备份过程中,通过校验哈希值寻找相同数据块来减少网络传输;在一个全新的任意台机器组成的HDFS系统上进行任意版本的数据恢复;在备份服务器支持版本浏览以及最新版本备份的完整查看等功能,可以实现高效的分布式文件系统备份和恢复。
-
公开(公告)号:CN102722450B
公开(公告)日:2015-01-14
申请号:CN201210168242.2
申请日:2012-05-25
Applicant: 清华大学
Abstract: 本发明公开了一种基于位置敏感哈希的删冗块设备存储方法,涉及数据存储领域。该方法包括:将删冗写操作的数据块和相应的数字指纹放入当前工作队列;判断队列中数据块的数量是否超过阈值,如果是,将阈值个数据块作为一个数据段,执行步骤F;否则,执行步骤E;判断队首数据块是否超时,如果是,将所有数据块作为一个数据段,执行步骤F;否则,执行步骤D;判断是否存在相似数据段元数据集合,如果是,执行步骤G;否则,创建一个空集合,执行步骤G;依次判断各数据块的数字指纹是否存在于相似数据段元数据集合中,如果是,修改数据块的存储地址;否则,生成数据块的元数据。该方法减少了删冗写操作过程访问元数据的时间开销。
-
公开(公告)号:CN102841852A
公开(公告)日:2012-12-26
申请号:CN201110172809.9
申请日:2011-06-24
IPC: G06F12/06
CPC classification number: G06F12/109 , G06F12/0246 , G06F2212/7211
Abstract: 本发明实施例提供一种磨损均衡方法、存储装置及信息系统,存储空间被分割成多个大小相同的存储子空间,每个存储子空间被分割成多个大小相同的存储块,每个存储块对应一个逻辑地址和一个物理地址,所述逻辑地址和物理地址具有唯一映射的关系;该方法包括:记录所述每个存储子空间的累积写操作次数;当所述多个存储子空间中的任意一个存储子空间的累积写操作次数达到预定的重映率时,将所述存储子空间的逻辑地址映射到重映射物理地址。通过本发明实施例的磨损均衡方法、存储装置及信息系统,可以将局部的写操作过多的数据块的逻辑地址均衡映射到全物理存储空间,从而避免局部数据过热,延长存储介质的使用寿命。
-
-
-
-
-
-
-
-
-