本文已参与「新人创作礼」活动，一起开启掘金创作之路。

scrapy爬虫

scrapy在迭代爬取时被拒offsite增加dont_filter = True

yield scrapy.Request(url=source_url, callback=self.cf_prase,
                                     meta={'title': title, 'source_url': source_url, 'createdAt': createdAt,"indexesCode":indexesCode},
                                     )#dont_filter=True

被拒情况如下：

解决办法：将

#dont_filter=True加入 （不用过滤=真）

结果如下：

如上：很显然拿到了结果

Trick:我用的python版本为3.68 。3.68以上的新写法字符串格式 ：在Python如今的版本中，你居然不会f-strings字符串格式化方法？ - 简书