Bobashave

robots.txt 协议并不是一个规范，只是约定协议，并不能保护网站的隐私。 robots.txt 需要在网站根路径下可以访问，并且只能是小写，通常是存放一个文本文件命名为 robots.txt，例如：https://www.jd.com/robots.txt。 robots…