对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
网络爬虫技术 网络爬虫技术有哪些
网络爬虫技术 网络爬虫技术有哪些
[评论：对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳]
4.3动态页面的反爬虫
网络爬虫技术 网络爬虫技术有哪些
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过Ja生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
[评论：感觉google的、IE的网络请求分析使用也挺好]能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网站，我们就不能用上面的方法了，我用的是selenium + phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。
[评论：支持phantomJS]用这套框架几乎能绕过大多数的反爬虫，因为它不是在伪装成浏览器来获取数据（上述的通过添加 Headers一定程度上就是为了伪装成浏览器），它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是控这个浏览器的不是人。利用 selenium+phantomJS能干很多事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行破解等等。它在自动化渗透中还 会大展身手，以后还会提到这个。
网络爬虫技术 网络爬虫技术有哪些
5、参考资料 [1] 网络爬虫基本原理 [2] 基于HttpClient4.0的网络爬虫基本框架 [3] 开源Python网络爬虫框架Scrapy [4] 开源爬虫框架各有什么优缺点 [5] 化海量数据采集爬虫框架搭建 [6] 网站常见的反爬虫和应对方法 转载于 原文链接:
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至836084111@qq.com 举报，一经查实，本站将立刻删除。