阅读文本大概需要 13 分钟。 通过之前的文章介绍，你现在应该对 pyspider 有了一定的认识。如果你还不清楚的话，可以再回顾下之前的文章「高效率爬虫框架之 pyspider」。务必要对 pysdpier 有个整体认知，这样你的学习效率才会高。 现在我们用一个实战项目，来进…

第一个代码如下，就是一个普通的 for 循环爬虫。 这段代码跑完花了37s，然后我们用 pycharm 的 profiler 工具来具体看看哪些地方比较耗时间。 可以看到 get_html 这个方法占了96.7%的时间。这个程序的 IO 耗时达到了97%，获取 html 的时候…

事情的起源是这样的，某个风和日丽的下午... 习惯性的打开知乎准备划下水，看到一个问题刚好邀请回答 于是就萌生了采集下某招聘网站Python岗位招聘的信息，看一下目前的薪水和岗位分布，说干就干。 先说下数据采集过程中遇到的问题，首先请求头是一定要伪装的，否则第一步就会给你弹出你…