网络爬虫针对“反爬”网站的爬取策略研究

首页 > 成果 > 详情

认领

导出

Link by 中国知网学术期刊 Link by 万方学术期刊

反馈

作者信息关键词期刊信息基础信息归属信息摘要

成果类型：

期刊论文

作者：

邹科文;李达;邓婷敏;李嘉振;陈义明

作者机构：

湖南农业大学信息科学技术学院,湖南长沙,410128

湖南农业大学东方科技学院,湖南长沙,410128

[陈义明] 湖南农业大学信息科学技术学院,湖南长沙410128

[陈义明] 湖南农业大学东方科技学院,湖南长沙410128

[李达; 邹科文] 湖南农业大学

语种：

中文

关键词：

网络爬虫;反爬虫机制;搜索引擎

期刊：

电脑知识与技术

ISSN：

1009-3044

年：

2016

卷：

期：

页码：

61-63

DOI：

10.14004/j.cnki.ckt.2016.0783

基金类别：

湖南省大学生创新性实验与研究性学习项目：导游精灵（DFCXS201505）湖南农业大学东方科技学院大学生创新项目：景点达人（DFCXY201406）

机构署名：

本校为第一机构

院系归属：

信息科学技术学院

东方科技学院

摘要：

随着计算机技术和internet的迅猛发展,信息和知识呈现爆炸性的增长,如何获取和利用信息成为现代社会提高竞争力的重要途径,网络爬虫是达到这一途径的重要工具。该文详细阐述了网络爬虫的体系结构、工作原理和URL搜索策略,针对某些网站采用的"反爬"措施,提出了几种爬取策略,以实现网页的有效爬取。对实际网络爬虫获取信息具有重要的参考价值。

反馈

产权有误：本人成果被他人认领

数据有误：数据基本信息有误

归属有误：成果的院系归属、机构署名归属有误

其他原因：

验证码：

看不清楚，换一个

确定

取消

成果认领

标题：

用户	作者	通讯作者	--
	请选择	请选择	--

确定

取消

网络爬虫针对“反爬”网站的爬取策略研究

反馈

成果认领

提示

该栏目需要登录且有访问权限才可以访问