[00281756]一种通用型分布式爬虫调度系统

交易价格： 面议

类型： 发明专利

技术成熟度： 正在研发

专利所属地：中国

专利号：CN201510183709.4

交易方式： 完全转让许可转让技术入股

联系人：南京大学

所在地：江苏南京市

服务承诺: 产权明晰; 资料保密
对所交付的所有资料进行保密; 如实描述

登录后向技术服务商咨询

咨询平台客服试试在线客服吧发布技术需求服务免费

技术详细介绍

一种通用型分布式爬虫调度系统，包括控制器和爬虫器，控制器包含显示模块和调度模块，其中显示模块用于查看各种任务进展信息、日志以及触发对爬虫器的控制，调度模块包含通信区、维持区、数据保持区、数据缓存区；爬虫器包含爬取模块和调度模块，其中爬取模块实现具体的爬虫功能；调度模块包含通信区、维持区、数据保持区、数据缓存区；调度模块中的通信区之间采用Socket长连接异步通信方式完成互联；针对大数据时代获取数据效率低，存在丢失等问题，提出普适型、通用型的分布式爬虫系统框架，在保证爬取过程高速、有效、准确的同时兼容多样化的爬取策略。

成果推荐需求推荐评估专家推荐评估机构推荐

更多>

上海平正评估有限公司

服务分类：资产评估、无形资产评...

进入主页
连城资产评估有限公司

服务分类：资产评估、无形资产评...

进入主页

更多>