公开(公告)号：CN101187949B

公开(公告)日：2011-09-21

申请号：CN200710305060.4

申请日：2007-12-26

Applicant: 腾讯科技(深圳)有限公司

Inventor： 吴双 ,  谢建东 ,  黄明生 ,  林志亮 ,  徐盎 ,  谢明 ,  沈丽莉 ,  祁洪辉

IPC: G06F17/30 ,  G06Q30/00

Abstract: 本发明适用于数据处理领域，提供了一种大容量访问数据的统计方法及系统，所述方法包括下述步骤：将大容量访问数据分配至一台或者多台分片服务器；分片服务器对所述大容量访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述由关键字部分和值部分组成的访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述分片处理后的访问数据的统计数据。本发明实施例通过采用分布式处理环境，可以充分利用大量空闲的网络资源，轻易的对大容量访问数据进行统计，而且充分发挥了数据处理的并行性，提高了处理效率。

公开(公告)号：CN101187949A

公开(公告)日：2008-05-28

申请号：CN200710305060.4

申请日：2007-12-26

Applicant: 腾讯科技(深圳)有限公司

Inventor： 吴双 ,  谢建东 ,  黄明生 ,  林志亮 ,  徐盎 ,  谢明 ,  沈丽莉 ,  祁洪辉

IPC: G06F17/30 ,  G06Q30/00

Abstract: 本发明适用于数据处理领域，提供了一种大容量数据的统计方法及系统，所述方法包括下述步骤：将大容量访问数据分配至一台或者多台分片服务器；分片服务器对所述访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述访问数据的统计数据。本发明实施例通过采用分布式处理环境，可以充分利用大量空闲的网络资源，轻易的对大容量数据进行统计，而且充分发挥了数据处理的并行性，提高了处理效率。