昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

从本章开始，我们将要进入反反爬虫篇的内容。 感觉如果是第一听到这个名字的读者肯定是懵逼的状态。现在我们先来介绍一下什么是爬虫、反爬虫、反反爬虫。 爬虫其实就是我们前面所学的代码，直接使用requests.get("http://xxx.com")就能拿到网站的源码。 但是很多时…

上面的这段话对于没做过前端开发的朋友而言，看着可能会有点难懂，没关系，我们用个例子简单地演示一下。 那么类似这样的反爬技术应该怎么处理呢？咸鱼准备了一个例子简单实战一下，用实例讲讲我遇到这类反爬是如何处理的。 由于这个例子比较简单，所以这里我就省略掉分析请求的步骤了，直接来分析…

爬虫占总PV(PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv)比例较高，这样浪费钱（尤其是三月份爬虫）。 三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期，有大量的硕士在写论文的时候会选择爬取一些往网站，并进行舆情分析。因为五月份交论文，所以嘛，大家…

作者经验和代码分享。

作者对 Python 分布式动态页面爬虫研究学习路线。

本文作者韦玮原创，转载请注明出处。项目需求与问题引入有时，我们想爬取腾讯动漫中的漫画，比如，我们不妨打开腾讯动漫中某一个动漫的网址http://ac.qq.com/Comic/comicInfo/id/539443，如下图所示：然后，我们点击“开始阅读”，出现如下所示界面： ​可…

看到一篇文章，介绍在反爬虫过程中，前端工程师的各种脑洞，文章见这里。 文章里介绍了几个大的网站，在反爬虫过程中，采取的各式各样的策略，无不体现出前端工程师的奇葩脑洞。 还挺有意思的，就简单分析了一下，针对每个方案，看看有没有解决办法，于是整理成博客，记录一下。 该方案是，自定义…