Invention Grant
- Patent Title: 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
-
Application No.: CN201610872814.3Application Date: 2016-09-30
-
Publication No.: CN106534259BPublication Date: 2019-08-13
- Inventor: 边俊峰 , 钱进 , 闵新平 , 郭伟 , 崔立真
- Applicant: 山东大学
- Applicant Address: 山东省济南市舜华路1500号山东大学软件园校区
- Assignee: 山东大学
- Current Assignee: 山东大学
- Current Assignee Address: 山东省济南市舜华路1500号山东大学软件园校区
- Agency: 济南圣达知识产权代理有限公司
- Agent 赵妍
- Main IPC: H04L29/08
- IPC: H04L29/08 ; H04L12/24

Abstract:
本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统,其中Web数据采集方法在Web服务器内完成,包括基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
Public/Granted literature
- CN106534259A 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 Public/Granted day:2017-03-22
Information query