-
公开(公告)号:CN110704717B
公开(公告)日:2022-09-27
申请号:CN201910833905.X
申请日:2019-09-04
Applicant: 中国科学院计算技术研究所
IPC: G06F16/953 , G06F16/33
Abstract: 本发明提出一种基于动力学模型的网络突发事件检测方法及系统,包括:对指定的网络平台进行事件抽取,得到多个结构化事件,并将多个结构化事件中指向同一基本事件的结构化事件进行消解聚合,得到多个结构化事件对应的多个基本事件;以结构化事件的自身属性作为结构化事件的质量,并以结构化事件的传播流行度作为位移,根据位移和结构化事件的从发布到被采集的时间,通过动力学模型确定结构化事件的加速度;根据结构化事件的加速度和质量,通过动力学模型确定各结构化事件的外力,集合各基本事件中结构化事件的外力,作为各基本事件的外力,根据基本事件的外力确定网络平台中各基本事件是否为广义突发事件。
-
公开(公告)号:CN114528459A
公开(公告)日:2022-05-24
申请号:CN202210044347.0
申请日:2022-01-14
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/958 , G06F16/35 , G06F40/30 , G06F40/146
Abstract: 本发明提出一种基于语义的网页信息抽取方法,包括:获取目标网页的目标DOM树,对该目标DOM树的目标骨架节点按句进行分裂,得到该目标DOM树的目标骨架子节点;以分类模型按目标任务语义对所有该目标骨架子节点进行分类,获得该目标DOM树的目标信息子节点;对所有该目标信息子节点形成的节点路径进行聚类,获得该目标网页的目标信息树,对该目标信息树中包含的网页信息进行抽取。本发明还提出一种基于语义的网页信息抽取系统,以及一种用于实现基于语义的网页信息抽取的数据处理装置。
-
公开(公告)号:CN109815387B
公开(公告)日:2021-11-19
申请号:CN201811637869.1
申请日:2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/953
Abstract: 本发明涉及一种基于脚本的网页采集服务方法和系统,包括:客户端,服务前端和服务执行单元,服务执行单元处理服务请求的过程包括:根据脚本队列中采集脚本的顺序,调度脚本队列中位于队首的采集脚本作为执行脚本;解释执行执行脚本,当执行脚本执行到调用函数时,判断调用函数是否为采集函数,若是,则将采集网页的任务发给网页采集模块,对执行脚本指定的网址进行网页采集处理,得到网址的网页信息作为采集函数的返回值,否则执行调用函数调用的功能,并将执行结果作为调用函数的返回值。由此本发明可通过调用服务的方式处理复杂的网页采集任务,适应性更强。
-
公开(公告)号:CN110795943B
公开(公告)日:2021-10-08
申请号:CN201910909274.5
申请日:2019-09-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种针对事件的话题表示生成方法及系统,包括:获取包含多个文档的文档集,且该多篇文档表述同一事件,提取该文档集中各个文档的标题,形成该事件的标题集合;通过对该标题集合中每N个标题获取其最长公共子序列,得到该标题集合的最长公共子序列集合;统计该最长公共子序列集合中各非空最长公共子序列的出现次数,选择出现次数最多的前K个高频最长公共子序列,从该前K个高频最长公共子序列中筛选出1个高频最长公共子序列作为该事件的话题表示。本发明无需人工干预,其中不存在人为因素,省时省力。因此,相比现有的技术,提高了针对事件的话题表示的可读性,经过筛选处理得到的话题表示也较精炼和准确。
-
公开(公告)号:CN112307278A
公开(公告)日:2021-02-02
申请号:CN202011154213.1
申请日:2020-10-26
Applicant: 中国科学院计算技术研究所
IPC: G06F16/903 , G06F16/901
Abstract: 本发明提出一种任意尺度的话题脉络实时生成方法及系统,包括:获取话题历史数据,该话题历史数据包括指定时间范围内预设时间单位的子话题及各子话题所包含的文档;以子话题作为节点,根据该指定时间范围内子话题间的相关性,建立节点间的连边,得到该话题历史数据的图数据;通过动态规划得到该指定时间范围内预设时间单位中各节点的路径权值最大的前k条路径,从所有的出度为0的各节点的该前k条路径中选出权值最大的前k条路径作为该话题历史数据的话题脉络,其中k为正整数。
-
公开(公告)号:CN110781367A
公开(公告)日:2020-02-11
申请号:CN201910909270.7
申请日:2019-09-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951 , G06F16/955
Abstract: 本发明提出一种基于中间人的互联网数据采集方法及系统,包括:通过安装中间人代理证书至网页信息采集设备,建立网页信息采集设备的中间人,网页信息采集设备访问互联网中网页信息时,中间人代理网页信息采集设备的全部网络流量;中间人获取包含待采集网页URL正则表达式的采集任务,捕获全部网络流量中符合URL正则表达式的流量,作为中间流量,并将采集任务注入中间流量的HTML页面中,得到待解析页面并将其存入第一数据库;解析模块根据第一数据库中待解析页面的URL信息,将待解析页面分发给解析器实例进行解析,从中获取包含结构化数据的网页采集结果并将其存入第二数据库。本发明能够支持所有依靠集成浏览器内核功能来提供信息的应用的数据采集。
-
公开(公告)号:CN110705597A
公开(公告)日:2020-01-17
申请号:CN201910833900.7
申请日:2019-09-04
Applicant: 中国科学院计算技术研究所
IPC: G06K9/62 , G06F16/953
Abstract: 本发明提出一种基于事件因果关系抽取的网络苗头事件检测方法及系统,包括:将苗头因果事件对中原因事件作为苗头事件,存入苗头事件样本库,以苗头事件样本库的数据作为训练集,训练基于机器学习的第一苗头事件分类器,并将苗头因果事件对的因果联系作为苗头事件判定规则,存入苗头事件判定规则库,以苗头事件判定规则库构建基于规则的第二苗头事件分类器;对指定的网络平台进行事件抽取,得到多个结构化事件,并将多个结构化事件中指代同一个事件的结构化事件统一为一个共指事件,并对共指事件进行泛化,得到网络平台的抽象事件,使用第一苗头事件分类器和第二苗头事件分类器分别处理抽象事件,综合两者的结果作为网络平台苗头事件的检测结果。
-
公开(公告)号:CN110557428A
公开(公告)日:2019-12-10
申请号:CN201910646748.1
申请日:2019-07-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种基于Kubernetes的脚本解释型服务代理方法和系统,该方法包括:设置一客户端,用于生成代理脚本并作为服务请求;设置一Kubernetes系统,并在该Kubernetes系统中部署若干服务;设置一服务执行单元,用于处理该服务请求,并返回处理结果至该客户端;该方法包括:函数绑定步骤,该服务执行单元根据一预设协议,定期查询API SERVER,获取该Kubernetes系统中的服务,并为每一服务绑定一函数名称;服务调用步骤,该服务执行单元接收并解析执行该客户端发送的该服务请求中的代理脚本,并在执行脚本的过程中,依据函数名调用Kubernetes中的服务。本发明有效解决了复杂服务以及远程和不可靠环境下的访问问题。
-
公开(公告)号:CN110188265A
公开(公告)日:2019-08-30
申请号:CN201910343595.3
申请日:2019-04-26
Applicant: 中国科学院计算技术研究所
IPC: G06F16/9535 , G06F16/335
Abstract: 本发明涉及一种融合用户画像的网络舆情热点推荐方法,包括:根据用户的倾向信息生成用户画像,并获得用户热度;根据当前网络舆情信息的固有属性,生成网民热度;以该用户热度和该网民热度获得针对该用户的网络舆情热点推荐度,并根据该推荐度向该用户推荐网络热点信息。本发明的融合用户画像的网络舆情热点推荐方法,将用户画像与网民热度挖掘作为独立的模块,可以分别得到不同的推荐结果,同时这种松耦合的机制可以增强系统的可扩展性和可移植性。对于不同的用户,其用户画像表示可扩展现有系统不存在的特殊需求,不影响系统整体架构,复用性高,开发成本低,支持冷启动。
-
公开(公告)号:CN109815382A
公开(公告)日:2019-05-28
申请号:CN201811634238.4
申请日:2018-12-29
Applicant: 中国科学院计算技术研究所
IPC: G06F16/951
Abstract: 本发明涉及一种大规模网络数据的感知与获取方法,包括:感知网络数据的信息来源并将其拆分为信源,对该信源设置采集策略;生成采集任务,注册采集节点,以该注册节点拉取采集器并对其进行配置;根据该采集策略,通过该采集器执行该采集任务,获取结构化数据;监控该采集任务的执行状态,统计该结构化数据,并将监控结果和统计结果发送给用户。本发明的大规模网络数据感知与获取系统,按照不同的功能逻辑,划分为采集子平台、调度子平台、信源管理与配置子平台和监控与统计子平台,本系统是集大规模网络数据的感知发现、多信息来源的网络数据获取、高质量信息抽取及用户友好性交互界面于一体的通用大规模网络数据感知系统。
-
-
-
-
-
-
-
-
-