• Patent Title: 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
  • Patent Title (English): Web data collection method based on Docker, Web data collection Web server based on Docker and Web data collection system based on Docker
  • Application No.: CN201610872814.3
    Application Date: 2016-09-30
  • Publication No.: CN106534259A
    Publication Date: 2017-03-22
  • Inventor: 边俊峰钱进闵新平郭伟崔立真
  • Applicant: 山东大学
  • Applicant Address: 山东省济南市舜华路1500号山东大学软件园校区
  • Assignee: 山东大学
  • Current Assignee: 山东大学
  • Current Assignee Address: 山东省济南市舜华路1500号山东大学软件园校区
  • Agency: 济南圣达知识产权代理有限公司
  • Agent 赵妍
  • Main IPC: H04L29/08
  • IPC: H04L29/08 H04L12/24
基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
Abstract:
本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统,其中Web数据采集方法在Web服务器内完成,包括基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
Patent Agency Ranking
0/0