禁止所有搜索引擎蜘蛛的爬行收录

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

一、在根目录创建robots.txt 文件

1、屏蔽搜索引擎爬取网站代码

User-agent: *

Disallow: /

2、允许所有搜索引擎爬取网站代码

User-agent: *

Disallow:

\

\

\