闲欢

为啥要写这篇文章，就是为了让你上『最强王者』！ Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了，至于后来怎么用？去哪里用？都没有交带。我这里就交代一...

想爬取网站数据？先登录网站！对于大多数大型网站来说，想要爬取他们的数据，第一道门槛就是登录网站。下面请跟随我的步伐来学习如何模拟登陆网站。 互联网上的网站分两种：需要登录和...

Python 提供了 PIL（python image library）图像库，来满足开发者处理图像的功能，该库提供了广泛的文件格式支持，包括常见的 JPEG、PNG、GI...

上节我们讲了 Python 的图像处理库 PIL 的基本图像处理功能，打开了 PIL 的神秘面纱。这节我们接着讲 PIL 的 Image 模块的常用方法。 matrix：可...

前面我们学习了 Python 的图像处理库 PIL，学会了一些相关的图像处理方法，好多人心里会问：有什么用呢？这一节我们就拿实际的例子来回答大家。 现在大多数网站登录不再是...

Selenium 环境配置好之后，我们就可以使用 Selenium 来操作浏览器，做一些我们想做的事情了。在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解...

如果你做过 Web 测试的工作，那么你应该明白 Web 测试中最重要的一部分工作就是自动化测试。自动化测试，顾名思义就是让浏览器自动运行，而无需手动操作。这和我们爬虫工作原...

PyQuery 库是一个非常强大又灵活的网页解析库，如果你有前端开发经验，那么你应该接触过 jQuery ,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Py...

作为程序员，相信大家对“爬虫”这个词并不陌生，身边常常会有人提这个词，在不了解它的人眼中，会觉得这个技术很高端很神秘。不用着急，我们的爬虫系列就是带你去揭开它的神秘面纱，探...

翻译过来就是：Requests 是为人类写的一个优雅而简单的 Python HTTP 库。这个介绍很直白了，让我们先来感受一下 Requests 的威力。 从感官上就能看出...

上一篇我们介绍了 Requests 库的基本用法，学会之后大家就可以应付一般的请求了。这一篇我们接着介绍 Requests 的高级用法，以便应付一些棘手的问题。 在 req...

在爬虫技术中，我们使用 Requests 和 Selenium 可以解决80%的需求，那么为什么我们还需要学习 Scrapy 框架呢？因为它可以使我们的爬虫更快、更强。 简...