搭建selenium gird分布式、跨平台基础服务系统

236 阅读1分钟

从一个需求引入:

以爬虫场景为例,selenium是一个稳定的自动化工具。

但是不同的spider需要不同的浏览器环境,比如银行系统必须IE浏览器访问;

同时我们还希望可以提高selenium 自动化的速度,最好支持多任务并发进行;

部署一劳永逸,并且部署方便,多程序可以调用浏览器服务系统。

感兴趣的可以 点赞、评论留言、关注 三连支持一波,谢谢~

一、架构图

二、场景

  • 分布式:多公网IP,高可用
  • 跨平台 跨浏览器:银行系统必须IE浏览器访问(代码层面指定IE浏览器即可)
  • Docker部署方便快捷

三、搭建步骤

动手能力强的,按照这篇博客先提供个思路,直接Google selenium gird集群搭建相关的文档就好了。

今天先更新到这里,有时间再来写详细的操作博客。

最后:博客计划

  • 搭建selenium gird分布式、跨平台基础服务系统

  • 使用 selenium OpenCV 解决拼图验证码

  • 使用 celery selenium 实现分布式、跨平台、定时任务爬虫

  • ……