大家在读 爬虫系列 的帖子时常常问我怎样写出不阻塞的爬虫，这很难，但可行。通过实现一些小策略可以让你的网页爬虫活得更久。那么今天我就将和大家讨论这方面的话题。

最近就有一部“怀旧”题材的电影，未播先火，那就是刘若英的处女作——《后来的我们》。青春，爱情，梦想，一直是“怀旧”题材的核心要素，虽然电影现在还未上映，但先行发布的主题曲《我们》，已经虐哭了不少人。在MV里，歌声清清浅浅，诉说着那些年关于爱情里的遗憾。

很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看…

看完这篇文章，你应该学会 “如何抓取手机 app 的包”。

本文使用正则表达式抓取豆瓣top250电影信息，存储到csv文件中抓取信息本文假设读者对正则表达式已经非常熟悉了，如果不熟悉的可以到网上找相关教程。下面我们抓取豆瓣信息打印出来使用正则匹配的基本形式是

爬虫基础教程

asyncio于Python3.4引入标准库，增加了对异步I/O的支持，asyncio基于事件循环，可以轻松实现异步I/O操作。接下来，我们用基于asyncio的库实现一个高性能爬虫。 Earth View from Google Earth是一款Chrome插件，会在打开新标…

经过了一个多星期的时间（自2017/10/16开始），到目前（2017/10/24）为止，项目框架的搭建已基本完成、还完成了首页中「直播」与「推荐」Fragment的数据填充，可以说相仿度很高，说这么多不如先看看效果。 很6吧，但这不是重点，本篇要记录的，是使用fiddler来…

近期，有些朋友问我一些关于如何应对反爬虫的问题。由于好多朋友都在问，因此决定写一篇此类的博客。把我知道的一些方法，分享给大家。博主属于小菜级别，玩爬虫也完全是处于兴趣爱好，如有不足之处，还望指正。 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众…