8ee9d8a0d2be11e9b0e61399fc9c6677

目前准备爬取一家目标网站的公开数据，预测将累计发起 百万次 api 请求，每个爬虫脚本都是单进程、单线程。把想要爬取的数据，按关键字段（如id）拆分多段（每段为 10000 条数据），分别安排给不同的爬虫同时爬取。这些爬虫，我称之为爬虫群。爬取到的数据我都存储在本地的mysql…

最常见的一种使用场景是作为变量占位符，使用场景明显可以减少代码中多余变量的使用。为了方便理解，_可以看作被丢弃的变量名称，这样做可以让阅读你代码的人知道，这是个不会被使用的变量，e.g.。 在交互解释器比如iPython中，_变量指向交互解释器中最后一次执行语句的返回结果。 这…

Python 的 openpyxl 模块可以让我们能读取和修改 Excel 文件。 首先让我们先理解一些 Excel 基础概念。 Excel 文件也称做为工作簿。每个工作簿可以包含多个工作表(Sheet)。用户当前查看的表或关闭 Excel 前最后查看的表，称为活动表。 每一张…