Scrapy框架 不进入pipeline的原因排查

1、首先排查pipeline类是否有在settings中注册

2、查看spider中最后有没有忘记写yield item

一般是由于第二个原因。

顺便提一句，scrapy运行起来之后，pipeline只有一个实例。 所以去重的话，如果是单机模式，可以在pipeline中采用set去重。

作者：BlueCat2016 链接：www.jianshu.com/p/cdb43deef… 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。