Python3 网络爬虫学习 【2022】

大家好，我是崔庆才，非常高兴能在此处与您相见，无论您对爬虫有所涉猎还是初学爬虫，我希望我撰写的本 Python 爬虫系列教程能对您有所帮助。 要学爬虫，首推的就是 Python 语言，简单快速易上手，

😀 这是爬虫专栏第 「33」 篇原创 随着大数据时代的发展，各个公司的数据保护意识越来越强，大家都在想尽办法保护自家产品的数据不轻易被爬虫爬走。由于网页是提供信息和服务的重要载体，所以对网页上的信息进

😀 这是爬虫专栏第 「32」 篇原创 我们在前面尝试维护过一个代理池，代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其 IP 被封的

😀 这是爬虫专栏第 「31」 篇原创 我们在上一节中了解了各个请求库设置代理的各个方法，但是如何实时高效地获取到大量可用的代理是一个问题。 首先，在互联网上有大量公开的免费代理。当然，我们也可以购买付

😀 这是爬虫专栏第 「30」 篇原创 前面我们介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库

😀 这是爬虫专栏第 「29」 篇原创 我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidde

😀 这是爬虫专栏第 「28」 篇原创 上一节我们使用 OpenCV 识别了图形验证码躯壳欧。这时候就有朋友可能会说了，现在深度学习不是对图像识别很准吗？那深度学习可以用在识别滑动验证码缺口位置吗？ 当

😀 这是爬虫专栏第 「27」 篇原创 上一节我们学习了利用 OCR 技术对图形验证码进行识别的方法，但随着互联网技术的发展，各种新型验证码层出不穷，最具有代表性的便是滑动验证码了。 本节我们首先介绍下

😀 这是爬虫专栏第 「26」 篇原创 各类网站采用了各种各样的措施来反爬虫，其中一个措施便是使用验证码。随着技术的发展，验证码的花样越来越多。验证码最初是几个数字组合的简单的图形，后来加入了英文字母和

😀 这是爬虫专栏第 「25」 篇原创 在上一节我们了解了网站登录验证和模拟登录的基本原理。网站登录验证主要有两种实现方式，一种是基于 Session + Cookies 的登录验证，另一种是基于 JW

😀 这是爬虫专栏第 「24」 篇原创 很多情况下，一些网站的页面或资源我们通常需要登录才能看到。比如说访问 GitHub 的个人设置页面，如果不登录是无法查看的；比如说 12306 买票提交订单的页面

😀 这是爬虫专栏第 「23」 篇原创 在上一节中，我们介绍了异步爬虫的基本原理和 asyncio 的基本用法，并且在最后简单提及了使用 aiohttp 来实现网页爬取的过程。在本节中，我们来介绍一下

😀 这是爬虫专栏第 「22」 篇原创 我们知道爬虫是 IO 密集型任务，比如如果我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待

😀 这是爬虫专栏第 「20」 篇原创 前面我们讲解了 Ajax 的分析方法，利用 Ajax 接口我们可以非常方便地完成数据爬取。只要我们能找到 Ajax 接口的规律，就可以通过某些参数构造出对应的请求

😀 这是爬虫专栏第 「18」 篇原创 这里还以前面的微博为例，我们知道拖动刷新的内容由 Ajax 加载，而且页面的 URL 没有变化，那么应该到哪里去查看这些 Ajax 请求呢？ 1. 分析案例 这里

😀 这是爬虫专栏第 「17」 篇原创 Ajax，全称为 Asynchronous JavaScript and XML，即异步的 JavaScript 和 XML。它不是一门编程语言，而是利用 Jav

😀 这是爬虫专栏第 「16」 篇原创 想查数据，就免不了搜索，而搜索离不开搜索引擎。百度、谷歌都是非常庞大、复杂的搜索引擎，它们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，

😀 这是爬虫专栏第 「15」 篇原创 在上一节中，我们已经可以用 requests 来获取网页的源代码，得到 HTML 代码。但我们真正想要的数据是包含在 HTML 代码之中的，怎么才能从 HTML

😀 这是爬虫专栏第 「14」 篇原创 关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来保存的，所以它的存储方式就是行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作某个实体的集合

😀 这是爬虫专栏第 「13」 篇原创 NoSQL，全称 Not Only SQL，意为不仅仅是 SQL，泛指非关系型数据库。NoSQL 是基于键值对的，而且不需要经过 SQL 层的解析，数据之间没有耦