作者经验和代码分享。

你被爬虫侵扰过么？当你看到 “爬虫” 两个字的时候，是不是已经有点血脉贲张的感觉了？千万要忍耐，稍稍做点什么，就可以在名义上让他们胜利，实际上让他们受损失。

上一篇我们介绍了爬虫中HTTP的基础内容，相信看过的朋友们应该对HTTP已经有个初步的认识了。本篇博主将分享一些HTTP的高级内容，以及在爬虫中的应用，让大家更深入理解。这些内容包括： Cookie原意是"小甜点"的意思，但是在互联网上被用作储存在用户本地终端上的数据。 首先，…

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

总结优化的几个要点

在使用了urllib库之后，感觉很麻烦，比如获取个cookie都需要分几步，代码又多，这和python的风格好像有点不太像哈，那有没有更加容易点的请求库呢？答案是有的，那就是第三方库requests,这个库的作者是大名鼎鼎的kennethreitz，创作这个库的原因就是想让py…

Puppeteer 是 Google Chrome 团队官方的无界面（Headless）Chrome 工具。正因为这个官方声明，许多业内自动化测试库都已经停止维护，包括 PhantomJS。Selenium IDE for Firefox 项目也因为缺乏维护者而终止。 本文将使…

爬虫的基本原理是模拟浏览器进行 HTTP 请求，理解 HTTP 协议是写爬虫的必备基础，招聘网站的爬虫岗位也赫然写着熟练掌握 HTTP 协议规范，写爬虫还不得不先从 HTTP 协议开始讲起。