前言展示如何使用Scrapy爬取静态数据和Selenium+HeadlessChrome爬取JS动态生成的数据，从而爬取完整的GooglePlay印尼市场的应用数据。注意不同国家的数据格式不一样，解析

在这篇文章中，作者总结了一些爬虫代理的资料和知识，并尝试使用 asyncio 和 aiohttp 使用代理 ip 访问目标网站。

Python学习到了一点阶段，就可以接触到网络爬虫了，网络爬虫具有很高的可玩性，这理就罗列了32个具有娱乐与技术性的项目，让你心满意足。

背景: 房租到期了。 需求: 找到便宜，交通便利的房源，了解当前租房行情，便于砍价。 在爬取58，赶集，链家，安居客的数据时，被封是常事，基于此，fork并修改了两个库。用于抓取免费代理ip，用于支持爬取租房数据。 注意：租房网站的数据，大概率失真，仅做参考。 本文只介绍Scr…

环境配置问题可能一直会让我们头疼，包括如下几种情况。 我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。 其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。 我们需要同时管理不…