​持续创作，加速成长！这是我参与「掘金日新计划 · 4 月更文挑战」的第5天，点击查看活动详情 数据采集 我们上一篇介绍了，如何采集王者最低战力，本文就来给大家介绍如何采集王者皮肤，买不起皮肤，当个桌

在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。 那怎么解决这些重复爬取的问题呢

浏览器插件，是基于浏览器的原有功能，另外增加新功能的工具。它不是独立的软件，需要依附于相应的浏览器才能发挥作用。目前主流的浏览器都允许使用插件，以增强浏览器的功能，让你的浏览器的功能更加多样化。 开发浏览器插件，其实就是类似于开发一个web应用，都是由HTML+JS+CSS构成…

如今，可移植文档格式（PDF）属于最常用的数据格式。在1990年，PDF文档的结构由Adobe定义。PDF格式的思想是，对于通信过程中涉及的双方（创建者，作者或发送者以及接收者）而言，传输的数据/文档看起来完全相同。 适用于Python的PDF工具，模块和库的可用解决方案范围有…

最近测了一下SPTAG这个近似最近邻搜索工具，打算拿一个东西先测测练练手，于是就想到了可以把之前的美女图建一个索引，看看能不能搜到想要的美女图。 首先是准备好美女图，我这里是很久以前爬的一些图，一共接近1万张。 如果没有的话，这里提供一下Google Drive下载链接：htt…

在看过目录之后，读者可能会问为什么这个教程没有讲一个框架，比如说scrapy或者pyspider。在这里，我认为理解爬虫的原理更加重要，而不是学习一个框架。爬虫说到底就是HTTP请求，与语言无关，与框架也无关。 在本节，我们将用26行代码开发一个简单的并发的（甚至分布式的）爬虫…

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…