Python3 网络爬虫学习 【2022】

😀 这是爬虫专栏第 「12」 篇原创 JSON，全称为 JavaScript Object Notation, 也就是 JavaScript 对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结

😀 这是爬虫专栏第 「11」 篇原创 将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。所以如果对检索和数据结构要求不高，追求方便第一的话

😀 这是爬虫专栏第 「10」 篇原创 前文我们了解了 lxml 使用 XPath 和 pyquery 使用 CSS Selector 来提取页面内容的方法，不论是 XPath 还是 CSS Selec

😀 这是爬虫专栏第 「9」 篇原创 XPath，全称是 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。它最初是用来搜寻 XML 文档的，但是它同样

😀 这是爬虫专栏第 「7」 篇原创 在数据爬取过程中，我们可能需要进行一些任务间通信机制的实现。比如说： 一个进程负责构造爬取请求，另一个进程负责执行爬取请求。 某个爬取任务进程完成了，通知另外一个进

😀 这是爬虫专栏第 「6」 篇原创 上一节中，我们了解了 urllib 的基本用法，但是其中确实有不方便的地方，比如处理网页验证和 Cookie 时，需要写 Opener 和 Handler 来处理。

😀 这是爬虫专栏第 「5」 篇原创 首先我们介绍一个 Python 库，叫做 urllib，利用它我们可以实现 HTTP 请求的发送，而不用去关心 HTTP 协议本身甚至更低层的实现。我们只需要指定请

😀 这是爬虫专栏第 「4」 篇原创 在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网

😀 这是爬虫专栏第 「3」 篇原创 用浏览器访问网站时，页面各不相同，你有没有想过它为何会呈现这个样子呢？本节中，我们就来了解一下网页的组成、结构和节点等内容。 1. 网页的组成 网页可以分为三大部分

😀 这是爬虫专栏第 「2」 篇原创 在正式学习网络爬虫之前，我们需要详细了解 HTTP 的基本原理，了解在浏览器中敲入 URL 到获取网页内容之间发生了什么。了解这些内容，有助于我们进一步了解爬虫的基

简而言之，爬虫可以帮助我们快速把网站上的信息快速提取并保存下来。 我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，就能