一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第5天，点击查看活动详情。 Selenium 操作被屏蔽 使用selenium自动化网页时，有一定的概率会被目标网站识别，一旦被检测到

今天盘点 6 个爬虫开源项目，它们可以帮你爬天爬地怕空气，爬微博、爬B站、爬知乎、爬*站。 提前声明，切勿使用这些项目从事非法商业活动，仅用于用于科研学习!

内容选自即将出版的《Python3 反爬虫原理与绕过实战》，本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 3 小节 SVG 反爬虫，第 4 小节《用前考虑清楚，伤敌一千自损八百的字体反爬虫》已发，其余小节将逐步放送。 SVG 是用于描述二维矢量图形的一…

本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。

前段时间发布了一篇文章介绍一个新兴的类似 Selenium、Pyppeteer 的自动化爬取工具，叫做 Playwright。 那篇文章出来之后，大家纷纷开始试用这个新的神器。 有的朋友试完之后大声叫

本节我们将介绍新浪微博宫格验证码的识别。微博宫格验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了应该的滑动轨迹。我们要按照滑动轨迹依次从起始宫格滑动到终止宫格，才可以完成验证，如下图所示。 鼠标滑动后的轨迹会以黄色的连线来标识，如下图所示。 访问新浪微博移动版…

此刻的我正坐在工位上，看着面前的某网站爬虫代码，陷入了回忆。 这是零工作经验的我入职这家公司以来接到的第一个项目，从零开始写一个爬虫。 既不是在爬虫系统上添加功能，也不是给祖传代码填坑。 我给了自己4、5天时间。 基于程序员必备的搜索技能，我迅速的在github上找到了一个相似…

最近在做自然语言理解处理相关的东西，主要是信息抽取方面的需求，由于没有好的公开数据集用作训练及测试，于是只能先自己去权威平台上爬取收集数据，所以这就涉及到了爬虫。 写爬虫用什么语言？由于我较熟且常用的大语言是 java、c++ 和 python。所以用这三种语言写爬虫其实都可以…

Python学习到了一点阶段，就可以接触到网络爬虫了，网络爬虫具有很高的可玩性，这理就罗列了32个具有娱乐与技术性的项目，让你心满意足。