-
公开(公告)号:CN105095070A
公开(公告)日:2015-11-25
申请号:CN201510363954.3
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明公开了一种基于浏览器测试组件的QQ群数据获取方法与系统,通过给予浏览器测试组件,实现用户行为模拟,由此方式实现Web端QQ等登陆操作,结合并行化设计,面向QQ群实现即时聊天信息和非即时信息的数据获取。本发明能够避免人工登陆操作,在快速获取数据的同时,兼顾了获取数据的完整性,同时在后期维护上成本投入更小,能够根据版本变化快速修改并投入使用。
-
公开(公告)号:CN105162676B
公开(公告)日:2017-08-11
申请号:CN201510363826.9
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种微信数据获取方法和系统,通过安卓平台应用测试组件和浏览器测试组件相结合来实现。基于安卓平台测试组件方式,可以模拟用户行为操作客户端,包括登陆、查看、滑屏等;由此方式获取的微信公众平台账号历史消息的网页地址结合主动采集技术,可获取微信公众账号完整的历史消息。采用安卓平台测试组件和浏览器测试组件相结合方式,通过监听浏览器DOM元素变化,能够自动化实现网页版微信登陆,全面和及时有效地获取微信数据。
-
公开(公告)号:CN104899156A
公开(公告)日:2015-09-09
申请号:CN201510229346.3
申请日:2015-05-07
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F12/06
Abstract: 本发明公开了一种面向大规模社交网络的图数据存储及查询方法,本发明数据存储管理器对收到的图数据采用Key-Value方式存储,以图数据的顶点ID为Key,以顶点邻域为Value;对每一顶点邻域的数据存储:将与该顶点邻域相连的多条边以时间戳有序存储到固定大小的内存块中,并构成双向链表,将该顶点的属性信息和索引信息存储到一数据结构中。当数据存储管理器收到访问顶点v的访问请求时,数据存储管理器将该顶点v及其k阶邻域传输给请求者;请求者将返回数据缓存在本地,下次查询时,首先检查本地的缓存,如果不存在查询的顶点,则将访问请求发送给所述数据存储管理器。本发明能满足动态更新、适合处理数据稀疏的场景和随机访问。
-
公开(公告)号:CN104899156B
公开(公告)日:2017-11-14
申请号:CN201510229346.3
申请日:2015-05-07
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F12/06
Abstract: 本发明公开了一种面向大规模社交网络的图数据存储及查询方法,本发明数据存储管理器对收到的图数据采用Key‑Value方式存储,以图数据的顶点ID为Key,以顶点邻域为Value;对每一顶点邻域的数据存储:将与该顶点邻域相连的多条边以时间戳有序存储到固定大小的内存块中,并构成双向链表,将该顶点的属性信息和索引信息存储到一数据结构中。当数据存储管理器收到访问顶点v的访问请求时,数据存储管理器将该顶点v及其k阶邻域传输给请求者;请求者将返回数据缓存在本地,下次查询时,首先检查本地的缓存,如果不存在查询的顶点,则将访问请求发送给所述数据存储管理器。本发明能满足动态更新、适合处理数据稀疏的场景和随机访问。
-
公开(公告)号:CN105162676A
公开(公告)日:2015-12-16
申请号:CN201510363826.9
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种微信数据获取方法和系统,通过安卓平台应用测试组件和浏览器测试组件相结合来实现。基于安卓平台测试组件方式,可以模拟用户行为操作客户端,包括登陆、查看、滑屏等;由此方式获取的微信公众平台账号历史消息的网页地址结合主动采集技术,可获取微信公众账号完整的历史消息。采用安卓平台测试组件和浏览器测试组件相结合方式,通过监听浏览器DOM元素变化,能够自动化实现网页版微信登陆,全面和及时有效地获取微信数据。
-
公开(公告)号:CN104951505A
公开(公告)日:2015-09-30
申请号:CN201510260191.X
申请日:2015-05-20
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30598 , G06F17/30283
Abstract: 本发明公开了一种基于图计算技术的大规模数据聚类方法。本方法为:1)从待处理图数据的所有顶点中选取N个顶点作为候选聚类中心;2)设置每一候选聚类中心的簇标签值,然后根据一加权无向图G将候选聚类中心合并,将属于同一聚类簇的候选聚类中心划分到同一集合中;3)候选聚类中心将包含自己当前簇标签值以及权重的消息传递给相邻顶点;收到消息的顶点根据簇标签值将本次迭代收到的所有消息分成不同的类别,然后生成新的消息并在下一迭代时传递给相邻顶点;4)迭代结束后,对于每一顶点,计算具有相同标签类型的边的权重之和,得到每一顶点最后的结果值;将具有相同结果值的顶点聚为一类。本发明节约了时间和存储开销。
-
公开(公告)号:CN105095070B
公开(公告)日:2017-12-19
申请号:CN201510363954.3
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明公开了一种基于浏览器测试组件的QQ群数据获取方法与系统,通过给予浏览器测试组件,实现用户行为模拟,由此方式实现Web端QQ等登陆操作,结合并行化设计,面向QQ群实现即时聊天信息和非即时信息的数据获取。本发明能够避免人工登陆操作,在快速获取数据的同时,兼顾了获取数据的完整性,同时在后期维护上成本投入更小,能够根据版本变化快速修改并投入使用。
-
公开(公告)号:CN107168986B
公开(公告)日:2020-05-26
申请号:CN201710178505.0
申请日:2017-03-23
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/958
Abstract: 本发明公开了一种新闻APP应用活跃度的分析方法,包括以下步骤:步骤1、采集不少于2个新闻APP的相关数据;步骤2、将步骤1采集的数据代入活跃度计算模型进行分析计算;步骤3、将步骤2中得到的计算结果进行排列,即得所采集新闻APP的活跃度排行。其能够综合客观的判断一个新闻APP的实际活跃度,并对多个新闻APP的活跃度进行分析和排行,使用户方便的选择适合自身的新闻APP。
-
公开(公告)号:CN108920479A
公开(公告)日:2018-11-30
申请号:CN201810337919.8
申请日:2018-04-16
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种针对两微一端跨信源账号推荐方法,包括:将两微一端跨信源账号关联度衡量指标分为三级,包括多个一级关联度衡量指标,各个一级指标下分多个二级指标,以及各二级指标对应的各维度数据字段为三级指标;确定种子账户和多个目标账户;采集三级指标下的各维度数据,量化各个维度数据的相似度;基于用户关注度需求确定一级指标权重和一级指标下各个二级指标的权重;将所得各类三级关联度衡量指标下各个维度数据相似度与各自权重加权求和,获得各目标账号关联度指数,并将这些目标账户关联度指数倒序推荐。本发明所述推荐方法可跨信源进行账号推荐,且推荐结果精确合理。
-
公开(公告)号:CN108804594A
公开(公告)日:2018-11-13
申请号:CN201810523561.8
申请日:2018-05-28
Applicant: 国家计算机网络与信息安全管理中心 , 北京天润基业科技发展股份有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种新闻内容全文检索引擎的构建方法及装置,该方法步骤如下:获取带有实时访问信息的实时网站日志;获取带有新闻热度评论信息的新闻网站的数据;对所述实时网站日志和所述新闻网站数据分类;对分类后的所述新闻网站数据进行处理、索引并存储;获取新闻网站数据中国的新闻元信息并存储;获取新闻网站数据中的热度信息进行存储,并对新闻网站数据中的热度信息统计。本发明在查询性能、索引空间和构建性能方面实现了合理的平衡;考虑到统计数据随时间变化的特性,动态更新索引结果;提高了系统的健壮性;提高统计数据与文本数据的复合查询性能。
-
-
-
-
-
-
-
-
-