1、区分scrapy、scrapyd、scrapydweb
- scrapy 爬虫框架。用于编写爬虫
- scrapyd 爬虫的server端。用于执行爬虫任务
- scrapydweb 爬虫server端的web管理页面可以可视化管理
2、准备scrapyd环境
安装
pip install scrapyd
启动
scrapyd
启动显示内容
修改配置文件
default_scrapyd.conf
准备scrapydweb环境
安装
pip install scrapydweb
启动
scrapydweb
3、部署项目
采用scrapyd-deploy部署
- 修改配置文件
scrapy.cfg修改
[deploy]
project = data_pip
url = http://localhost:6801/
username = 用户名
password = 密码
- 使用命令部署
scrapyd-deploy自动部署
