-
公开(公告)号:CN118708795A
公开(公告)日:2024-09-27
申请号:CN202410729579.9
申请日:2024-06-06
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/953 , G06F16/906
Abstract: 本发明公开了基于社交应用采集资源管理和检测使用的系统,包括:采集资源调度装置,其用于存储、初始化和分配采集资源;数据采集调度装置,其用于采集资源的申请与使用;采集资源状态收集装置,其用于存储使用完成的采集资源状态,并对采集资源进行分类;异常采集资源处理装置,其用于对异常采集资源进行删除、刷新和验证操作,并将刷新和验证后的采集资源更新到采集资源调度装置中;采集资源检测装置,其用于对采集资源调度装置中的采集资源进行可用性检测,并将不可用资源更新到采集资源状态收集装置中;以及,基于社交应用采集资源管理和检测使用的方法。本发明具有能确保采集资源可以得到最大化的利用,保障数据采集长期有效的完成等优点。
-
公开(公告)号:CN118626223A
公开(公告)日:2024-09-10
申请号:CN202410705471.6
申请日:2024-06-03
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于自动化驱动工具的社交网络数据采集方法,包括:获取输入的调度任务,将调度任务转化为结构化数据,并持久化到任务存储器;基于预设的优先级策略自动调整调度任务的执行顺序和执行频率;请求获取调度任务,根据与分配的调度任务匹配的预先配置的模板,采用自动化驱动工具于社交平台上自动采集分配的调度任务所需的数据;收集分配的调度任务的状态变化,待分配的调度任务完成后将采集到的数据上报,并修改分配的调度任务的下次执行时间。本发明可通过自动化驱动技术采集获取社交网络平台数据,可完成系统内持续任务的分类定级,根据各任务执行主体的状态动态分配任务以及资源回收。
-