从一个需求引入:
以爬虫场景为例,selenium是一个稳定的自动化工具。
但是不同的spider需要不同的浏览器环境,比如银行系统必须IE浏览器访问;
同时我们还希望可以提高selenium 自动化的速度,最好支持多任务并发进行;
部署一劳永逸,并且部署方便,多程序可以调用浏览器服务系统。
感兴趣的可以 点赞、评论留言、关注 三连支持一波,谢谢~
一、架构图

二、场景
- 分布式:多公网IP,高可用
- 跨平台 跨浏览器:银行系统必须IE浏览器访问(代码层面指定IE浏览器即可)
- Docker部署方便快捷
三、搭建步骤
动手能力强的,按照这篇博客先提供个思路,直接Google selenium gird集群搭建相关的文档就好了。
今天先更新到这里,有时间再来写详细的操作博客。
最后:博客计划
-
搭建selenium gird分布式、跨平台基础服务系统
-
使用 selenium OpenCV 解决拼图验证码
-
使用 celery selenium 实现分布式、跨平台、定时任务爬虫
-
……