本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。

😀 这是爬虫专栏第 「31」 篇原创 我们在上一节中了解了各个请求库设置代理的各个方法，但是如何实时高效地获取到大量可用的代理是一个问题。 首先，在互联网上有大量公开的免费代理。当然，我们也可以购买付

小知识，大挑战！本文正在参与“  程序员必备小知识  ”创作活动 本文同时参与 「掘力星计划」  ，赢取创作大礼包，挑战创作激励金 1、简介 2、解析库 利用它不用编写正则表达式即可方便地实现网页信息

还愿，🤡杰哥爆肝近一周，牺牲了很多摸鱼和打王者的时间，终于把Python爬虫入门内容串起来了，希望对想学Python爬虫的朋友有所裨益~

爬取贝壳网石家庄二手房信息，先打开链接 https://sjz.ke.com/ershoufang/。 不添加筛选条件，发现总共有42817套房子。我们点击第二页，再查看链接变成了https://sjz.ke.com/ershoufang/pg2/。所以，可发现/pg{i}，i…

在掘金看到了一篇《用Node+wechaty写一个爬虫脚本每天定时给女(男)朋友发微信暖心话》后，我就想为什么不用 Python 去实现这个功能呢。 JUST TO IT，说做就做。 这文章的结构也是参考上面这位朋友的。 本来只是写单人的，不过有些优（作）秀（死）的人表示女朋友…

目前，有非常多的Python框架，用来帮助你更轻松的创建web应用。这些框架把相应的模块组织起来，使得构建应用的时候可以更快捷，也不用去关注一些细节（例如socket和协议），所以需要的都在框架里了。接下来我们会介绍不同的选项。 Python发源于八十年代后期。开发者是Cent…

由于最近一直在研究基于机器学习的推荐系统，需要大量的数据来训练AI模型，但是在模型的测试验证过程中，苦于中文数据集的缺失(或者说根本没有，国人在这方面做得实在是太差了)，只能利用国外公开的推荐系统数据集，有著名的MovieLens电影评分数据集和Del.icio.us链接推荐数…

做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。 自己搭建代理服务器，稳定，但需要大量的服务器资源。 本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之…