Command line tool

查看及切换目前所在项目

$ scrapy settings --get BOT_NAME
Project 1 Bot
$ export SCRAPY_PROJECT=project2
$ scrapy settings --get BOT_NAME
Project 2 Bot

创建项目

scrapy startproject myproject [project_dir]

控制项目

scrapy genspider mydomain mydomain.com

在spiders目录里生成一个 mydomain.py 的文件及类

Scrapy 命令

查看

• 某个命令

scrapy <command> -h

• 所有命令

scrapy -h

两种类别命令

• Global commands:

  • startproject
  • genspider
  • settings
  • runspider
  • shell
  • fetch
  • view
  • version

• Project-only commands:

  • crawl
  • check
  • list
  • edit
  • parse
  • bench