Meta Robots 详解
UEditor是由百度web前端研发部开发所见即所得富文本web编辑器
SimpleDocker 是一个轻量级 Docker 管理工具
参考资料
Meta Robots 详解
Meta Robots 详解
1. 什么是 Meta Robots？
是 HTML 的元标签，用于控制搜索引擎爬虫如何索引和跟踪网页内容。
2. 如何设置 Meta Robots？
在网页的 部分添加以下代码：
其中 content 属性可包含多个指令，用逗号分隔。
3. 常用 Meta Robots 指令及示例
指令
作用
示例
index
允许搜索引擎索引该页面
noindex
禁止搜索引擎索引该页面
follow
允许爬虫跟踪页面上的链接
nofollow
禁止爬虫跟踪页面上的链接
none
等同于 noindex, nofollow
noarchive
禁止搜索引擎缓存页面快照
nosnippet
禁止在搜索结果中显示摘要
notranslate
禁止自动翻译该页面
noimageindex
禁止索引页面上的图片
unavailable_after:[date]
在指定日期后停止索引
4. 常见组合示例
① 允许索引和跟踪链接（默认）
② 禁止索引但允许跟踪链接
③ 允许索引但禁止跟踪链接
④ 完全禁止索引和跟踪
⑤ 禁止缓存和摘要
5. 注意事项
-
优先级：
meta robots的优先级低于robots.txt，但高于搜索引擎的默认行为。 -
X-Robots-Tag：在 HTTP 头部也可以设置类似规则（适用于动态页面）。
-
搜索引擎兼容性：大多数主流搜索引擎（Google、Bing、百度）都支持
meta robots。
6. 实际应用场景
✅ 禁止收录登录页、隐私政策页（noindex）
✅ 允许收录但阻止权重传递（index,nofollow）
✅ 禁止缓存敏感内容（noarchive）
✅ 设置页面过期时间（unavailable_after）
这样设置后，搜索引擎会按照你的指令处理网页。
