目前，许多网站采取了各种各样的措施来反爬虫，通常一个网站都会使用下面的多种反爬，越是数据价值高的网站反爬做的越复杂。常见的反爬措施及解决方案如下： 这是网站最基本的反爬措施，也是最容易实现的反爬，但是破解起来也容易，只需要合理添加请求头即可正常访问目标网站获取数据。 服务器会检…

继推出2017年机器学习开源项目Top 30榜单后，Mybridge AI又推出了一个Python开源项目Top 30榜单，包括开源Python库、工具等。该榜单基于项目质量、用户参与度以及其他几个方面进行了评估，从大约15000个开源项目中挑选了Top 30，差不多都是在20…

前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下Scrapy的大规模爬取。 本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存…

启动过几分钟后就能看到抓取到的代理IP，你可以直接到数据库中查看，推荐一个SSDB可视化工具。 也可以通过api访问http://127.0.0.1:5010 查看。

Scheduler调度器从redis获取请求的url地址，传递给Downloader下载器下载数据网页，然后把数据网页传递给spiders爬虫提取数据逻辑器处理，最后把结构化保存数据的item数据对象经过itemPipeLine保存在redis数据库。 其他机器的item Pr…