Scrapy入门与实践(二) - helloworld

166 阅读1分钟

创建项目

在开始爬取之前,必须创建一个新的Scrapy项目。 进入打算存储代码的目录中,运行下列命令:


scrapy startproject tutorial

该命令将会创建包含下列内容的 tutorial 目录


  • scrapy.cfg
    项目的配置文件


  • tutorial/
    该项目的python模块。之后将在此加入代码。

  • items.py
    项目中的item文件

  • pipelines.py
    项目中的pipelines文件

  • settings.py
    项目的设置文件

  • spiders/
    放置spider代码的目录