Scrapy之logging模块的使用&logging basicConfigScrapy内置了强大的日志功能，可以帮助

Scrapy内置了强大的日志功能，可以帮助开发者跟踪爬虫的行为、调试问题以及记录重要信息。Scrapy的日志系统基于Python的标准logging模块，但提供了一些额外的功能和配置选项。

参考文档:

docs.scrapy.org/en/latest/t…

日志输出

import scrapy
import logging

logger = logging.getLogger(__name__) # 创建一个logger对象,__name__是当前模块的名字

class JdSpider(scrapy.Spider):
    name = "jd"
    allowed_domains = ["jd.com"]
    start_urls = ["https://www.jd.com/"]

    def parse(self, response):
        # logging.warning("This is an warning!")
        logger.warning("this is warning!")

将日志保存到本地

在settings文件中开启

LOG_FILE = "./log.log"

图片.png

logging basicConfig

logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s %(filename)s %(levelname)s %(message)s',
                    datefmt='%a %d %b %Y %H:%M:%S',
                    filename='my.log',
                    filemode='w')

图片.png