[00230804]应用于单台多核处理器主机的多线程网络爬虫执行方法

交易价格： 面议

类型： 发明专利

技术成熟度： 正在研发

专利所属地：中国

专利号：CN201310661466.1

交易方式： 完全转让许可转让技术入股

联系人：中国科学院深圳先进技术研究院

所在地：广东深圳市

服务承诺: 产权明晰; 资料保密
对所交付的所有资料进行保密; 如实描述

登录后向技术服务商咨询

咨询平台客服试试在线客服吧发布技术需求服务免费

技术详细介绍

本发明提出的应用于单台多核处理器主机的多线程网络爬虫执行方法包括步骤S10、创建网页爬取线程、网页分析线程以及URL种子线程；S20、将URL种子载入URL种子缓冲队列；S30、从URL种子缓冲队列中取出URL种子块，遍历URL条目进行网页爬取；S40、将网页内容及其URL封装载入网页缓冲队列；S50、通过查询哈希表进行URL分析，将URL载入待爬取URL列表；S60、待爬取URL列表中元素达到最大值时写入URL缓冲队列；S70、从URL缓冲队列中取出URL列表并重排，封装成URL种子块插入URL种子缓冲队列。本发明可避免额外的线程切换或等待、误判率极低，一定程度上解决了“礼貌”爬取问题。

成果推荐需求推荐评估专家推荐评估机构推荐

更多>

上海平正评估有限公司

服务分类：资产评估、无形资产评...

进入主页
连城资产评估有限公司

服务分类：资产评估、无形资产评...

进入主页

更多>