Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解

crawlab分布式部署

0. 远程服务器环境搭建

   同之前gerapy分布式部署一样

1. 添加服务器防火墙端口

   • redis：6379
   • mysql：3306
   • mogodb：27017
   • scrapyd：6800
   • crawlab：8080

2. 访问crawlab服务：47.93.10.129

3. 连接远程数据库

4. 利用crawlab网站部署爬虫运行即可

   • 单文件
   • scrapy项目

   备注： 支持定时任务

难题

访问crawlab服务：47.93.10.129

尚未能访问