当我们进行网页爬虫时，我们会利用一定的规则从返回的 HTML 数据中提取出有效的信息。但是如果网页中含有 JavaScript 代码，我们必须经过渲染处理才能获得原始数据。

一篇利用Pyspider编写网络爬虫的实践

将 DRY 发挥到极致的爬虫，高效装逼的方式。

上一部分（Python 异步网络爬虫 I）整理了如何利用 aiohttp 和 asyncio 执行异步网络请求，接下来我们将在此基础上实现一个简洁、普适的爬虫框架。

Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库，简单来说，它能将 HTML 的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。

爬取网易云音乐跟之前爬取的网站稍稍有点不同，当然，爬虫写的多了就觉得套路都是固定的，见招拆招而已。

有疑问吗？或许看看你就知道了。

这篇文章讲解如何从下载下来的 html 文件中提取结构化数据。