-
公开(公告)号:CN105868286A
公开(公告)日:2016-08-17
申请号:CN201610169389.1
申请日:2016-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30091
Abstract: 本发明提出基于分布式文件系统小文件合并的并行追加方法及系统,该方法包括将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。
-
公开(公告)号:CN105912675B
公开(公告)日:2019-06-18
申请号:CN201610228082.4
申请日:2016-04-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种针对小文件合并的批量删除/查询方法与装置,该方法包括客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;在所述目标文件中添加标志文件flag,以及标志文件DE_flag,所述客户端收到删除所述小文件的请求后,先从所述表key_list中查找是否存在所述小文件的所述key,若存在,则从所述Memcache中取出并删除所述小文件,并删除所述表key_list中所述小文件的所述key,否则在所述标识文件flag中记录所述小文件的文件名;获取需要查询的文件F,查询所述表key_list上记录的所述文件F的key,根据所述key从所述Memcache中取出所述文件F。
-
公开(公告)号:CN105868286B
公开(公告)日:2019-03-12
申请号:CN201610169389.1
申请日:2016-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06F16/182 , G06F16/13
Abstract: 本发明提出基于分布式文件系统小文件合并的并行追加方法及系统,该方法包括将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。
-
公开(公告)号:CN105912675A
公开(公告)日:2016-08-31
申请号:CN201610228082.4
申请日:2016-04-13
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F16/148 , G06F16/162
Abstract: 本发明提出一种针对小文件合并的批量删除/查询方法与装置,该方法包括客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;在所述目标文件中添加标志文件flag,以及标志文件DE_flag,所述客户端收到删除所述小文件的请求后,先从所述表key_list中查找是否存在所述小文件的所述key,若存在,则从所述Memcache中取出并删除所述小文件,并删除所述表key_list中所述小文件的所述key,否则在所述标识文件flag中记录所述小文件的文件名;获取需要查询的文件F,查询所述表key_list上记录的所述文件F的key,根据所述key从所述Memcache中取出所述文件F。
-
-
-