公开(公告)号：CN104123309A

公开(公告)日：2014-10-29

申请号：CN201310155895.1

申请日：2013-04-28

Applicant: 国际商业机器公司

Inventor： 姜朋慧 ,  江丕峻 ,  尹雯 ,  薛亮 ,  王夕宁

IPC: G06F17/30

CPC classification number: G06F17/30156

Abstract: 本发明公开了一种用于数据管理的方法和系统。该方法包括：计算下列特征值中的一个或多个：第一格式的第一数据的特征值、和所述第一数据能转换为的一个或多个第二格式的数据的特征值，所述特征值唯一地表示具体格式的数据的至少一部分比特的排列特征；以及响应于所计算的所述一个或多个特征值中的一个与已存储的对应于第二数据的特征值相同，存储所述第一数据和所述第二数据中的一个。通过本发明的实施例，能够对于来自同一源数据的数据文件进行去重。

公开(公告)号：CN104123309B

公开(公告)日：2017-08-25

申请号：CN201310155895.1

申请日：2013-04-28

Applicant: 国际商业机器公司

Inventor： 姜朋慧 ,  江丕峻 ,  尹雯 ,  薛亮 ,  王夕宁

IPC: G06F17/30

CPC classification number: G06F17/30156

Abstract: 本发明公开了一种用于数据管理的方法和系统。该方法包括：计算下列特征值中的一个或多个：第一格式的第一数据的特征值、和所述第一数据能转换为的一个或多个第二格式的数据的特征值，所述特征值唯一地表示具体格式的数据的至少一部分比特的排列特征；以及响应于所计算的所述一个或多个特征值中的一个与已存储的对应于第二数据的特征值相同，存储所述第一数据和所述第二数据中的一个。通过本发明的实施例，能够对于来自同一源数据的数据文件进行去重。