羞羞熊熊拳

这是我的第一篇掘金博客，开启掘金写作之路。 简介 Robots 协议也称作机器人协议，主要用于搜索引擎去抓取网站页面。 通常存放在网站根目录下的robots.txt文件。该协议主要免去不必要的网站路径