Robots.txt是一个文本文件，网站所有者可以创建它来告诉搜索引擎如何抓取和索引他们网站上的页面。它通常存储在网站的根目录下，也就是所谓的主文件夹中。robots.txt文件的基本格式是这样的： 你可以有多行指令来允许或不允许特定的URL，并添加多个网站地图。如果你不禁止一…