中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改…

GitHub 上的一堆 Python 学习资料

必须先将爬虫爬取下来的 所有数据存放在内存 中，待爬虫完成后，再一次性写入文件。 这种方式，可以输出标准的 json 格式文件，但是如果数据量巨大，会 大量占用内存 。 这种方式，每次拿到数据都直接写入文件，占用内存少，但是输出的结果 并不是标准的 Json 格式文件 ，无法通…

刚好前段时间做了爬虫相关的工作，这里就记录下一些相关的心得。 本地开发环境建议使用 Anaconda 安装相关环境，否则可能出现各种依赖包的冲突，相信遇到过的都深有体会，在你配置相关环境的时候就失去爬虫的兴趣。 本文提取页面数据主要使用 Xpath ，所以在进行文中案例操作前，…

数据分析，从入门到崩溃