基于分布式文件系统小文件合并的并行追加方法及系统

    公开(公告)号:CN105868286A

    公开(公告)日:2016-08-17

    申请号:CN201610169389.1

    申请日:2016-03-23

    Inventor: 张笛 孙毓忠 宋莹

    CPC classification number: G06F17/30194 G06F17/30091

    Abstract: 本发明提出基于分布式文件系统小文件合并的并行追加方法及系统,该方法包括将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。

    一种针对小文件合并的批量删除/查询方法与装置

    公开(公告)号:CN105912675B

    公开(公告)日:2019-06-18

    申请号:CN201610228082.4

    申请日:2016-04-13

    Abstract: 本发明提出一种针对小文件合并的批量删除/查询方法与装置,该方法包括客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;在所述目标文件中添加标志文件flag,以及标志文件DE_flag,所述客户端收到删除所述小文件的请求后,先从所述表key_list中查找是否存在所述小文件的所述key,若存在,则从所述Memcache中取出并删除所述小文件,并删除所述表key_list中所述小文件的所述key,否则在所述标识文件flag中记录所述小文件的文件名;获取需要查询的文件F,查询所述表key_list上记录的所述文件F的key,根据所述key从所述Memcache中取出所述文件F。

    基于分布式文件系统小文件合并的并行追加方法及系统

    公开(公告)号:CN105868286B

    公开(公告)日:2019-03-12

    申请号:CN201610169389.1

    申请日:2016-03-23

    Inventor: 张笛 孙毓忠 宋莹

    Abstract: 本发明提出基于分布式文件系统小文件合并的并行追加方法及系统,该方法包括将小文件上传到Memcache步骤,客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;小文件追加到目标大文件步骤,从所述Memcache中下载所述表key_list,根据所述表key_list中所述小文件的名称与所述目标文件,构建Hash表,其中每个Hash值对应一个线性表,所述线性表中储存所述小文件,如果所述目标文件相同,则将与所述目标文件相对应的所述小文件合并。

    一种针对小文件合并的批量删除/查询方法与装置

    公开(公告)号:CN105912675A

    公开(公告)日:2016-08-31

    申请号:CN201610228082.4

    申请日:2016-04-13

    CPC classification number: G06F16/148 G06F16/162

    Abstract: 本发明提出一种针对小文件合并的批量删除/查询方法与装置,该方法包括客户端上传的小文件到目标文件中,将所述小文件的名称作为key,将所述小文件的内容作为value,上传到Memcache中,将所述key写到表key_list上,所述表key_list存储在所述Memcache中,所述表key_list记录所述Memcache中存储的所有小文件的key;在所述目标文件中添加标志文件flag,以及标志文件DE_flag,所述客户端收到删除所述小文件的请求后,先从所述表key_list中查找是否存在所述小文件的所述key,若存在,则从所述Memcache中取出并删除所述小文件,并删除所述表key_list中所述小文件的所述key,否则在所述标识文件flag中记录所述小文件的文件名;获取需要查询的文件F,查询所述表key_list上记录的所述文件F的key,根据所述key从所述Memcache中取出所述文件F。

Patent Agency Ranking