scrapy爬虫框架使用(一)准备工作

165 阅读1分钟

前置准备:

  1. python2.7/python3.6/python3.7 www.python.org/
  2. mysql 5.5/mysql8.0 如果需要保存数据至数据库时需要 
  3. IDE:PyCharm  www.jetbrains.com/pycharm/?fr…
  4. virtualenvwrapper 多环境多项目时需要


1 windows

 安装python,并配置环境变量


2.1 安装pip

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py

2.2添加pip至环境变量

如我的python目录是:D:\Python27\;
则添加如下2个目录到系统环境变量里:D:\Python27\;D:\Python27\Scripts;

3 安装scrapy scrapy.org/

pip install srapy