Scrapy爬虫-草稿

400 阅读1分钟

创建项目: scrapy startproject projectname 项目下的某个爬虫模块:scarpy genspider module_name module_name_domain.com

注意:Firefox 浏览器中复制的xpath是html源码的,与加载了js代码后的html可能不同。

对指定网址进行调试:

scrapy shell examole.com