通俗一点的说法就是：告诉爬虫，我这个网站，你哪些能看，哪些不能看的一个协议。 搜索引擎（爬虫），访问一个网站，首先要查看当前网站根目录下的robots.txt，然后依据里面的规则，进行网站页面的爬取。 也就是说，robots.txt起到一个基调的作用，也可以说是爬虫爬取当前网…