企业官网为什么 AI 搜不到?从 robots.txt 到 llms.txt 的技术排查清单
先说结论:企业官网在豆包、元宝、DeepSeek 里搜不到,八成不是内容问题,而是四道技术关口没过——robots.txt 屏蔽了 AI 爬虫、缺少结构化数据、没有 llms.txt、站外无第三方信源。前三个是纯技术活,一两小时就能改完。
本文给一份可直接照着做的排查清单,附具体配置示例。
一、第一道关:robots.txt 有没有屏蔽 AI 爬虫
这是最常见也最隐蔽的问题。很多建站框架的默认 robots.txt 会屏蔽所有非搜索引擎爬虫,或者只放行 Googlebot/Baiduspider,把 AI 爬虫一律挡在门外。
主流 AI 爬虫清单(2026)
| User-Agent | 归属 |
|---|---|
| GPTBot | OpenAI 训练 |
| OAI-SearchBot | OpenAI 搜索 |
| ChatGPT-User | ChatGPT 实时浏览 |
| ClaudeBot / Claude-SearchBot | Anthropic |
| PerplexityBot | Perplexity |
| Google-Extended | Gemini |
| Bytespider | 字节跳动(豆包) |
| Amazonbot | Amazon Alexa |
| Applebot-Extended | Apple Intelligence |
| Meta-ExternalAgent | Meta AI |
| cohere-ai | Cohere |
| Diffbot | 知识图谱 |
排查方法
curl -s https://你的域名/robots.txt | grep -iE "gptbot|claude|bytespider|perplexity"
如果看到 Disallow: / 紧跟在某个 AI 爬虫的 User-agent 后面,就是被屏蔽了。
正确配置示例
User-agent: *
Allow: /
# 显式放行 AI 爬虫(部分平台要求显式声明)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Bytespider
Allow: /
注意:被屏蔽 = 退出该 AI 的候选池,这是零和博弈,不进则退。
二、第二道关:结构化数据(JSON-LD)
AI 做事实交叉验证时依赖结构化数据。至少要部署这三类:
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "企业全称",
"url": "https://www.example.com",
"address": {
"@type": "PostalAddress",
"addressLocality": "长沙"
},
"telephone": "联系电话"
}
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [{
"@type": "Question",
"name": "定制一套系统多少钱?",
"acceptedAnswer": {
"@type": "Answer",
"text": "根据功能范围评估,具体以实际需求为准。"
}
}]
}
FAQPage 是性价比最高的:AI 回答"多少钱/怎么选"这类高频提问时,最爱引用带 FAQ 结构的页面。
验证方法
# 检查页面是否有 JSON-LD
curl -s https://你的域名/ | grep -c "application/ld+json"
结果大于 0 说明有;再用 Google Rich Results Test 验证格式是否正确。
三、第三道关:llms.txt
这是 2025 年起逐渐被 AI 平台识别的新约定,作用类似 robots.txt——但它是写给 AI 看的站点摘要,让 AI 快速理解你是谁、做什么、有哪些关键页面。
最小可用示例
# 企业名称
> 一句话定位(含城市 + 服务)
## 核心业务
- 业务1:说明
- 业务2:说明
## 关键页面
- [官网首页](https://example.com/)
- [服务页](https://example.com/services)
## 事实数据
- 成立年份:20XX
- 交付案例:XXX+
- 联系方式:xxx
放在网站根目录 https://你的域名/llms.txt 即可。
curl -s https://你的域名/llms.txt | head -5
四、第四道关:站外第三方信源
前三道是技术活,第四道是运营活,但决定了上限。
AI 做品牌推荐时,第三方内容的引用权重明显高于官网页(官方内容只是"自述",AI 会怀疑其客观性)。具体做法:
- 知乎/CSDN/掘金发技术向内容(品牌名 + 服务词 + 城市共现)
- 公众号/头条发行业内容
- 行业媒体发新闻稿
关键原则:品牌词、服务词、城市名三者固定共现,比如"长沙网站建设公司"这个组合,在不同独立域名下反复出现,AI 才会建立实体关联。
五、一份可执行的排查顺序
# 1. AI 爬虫放行检查
curl -s https://d.com/robots.txt | grep -A2 -iE "gptbot|claudebot|bytespider"
# 2. 结构化数据
curl -s https://d.com/ | grep -c 'application/ld+json'
# 3. llms.txt
curl -s -o /dev/null -w "%{http_code}\n" https://d.com/llms.txt
# 4. sitemap
curl -s https://d.com/sitemap.xml | grep -c "<loc>"
# 5. AI 解析效果(看正文能否被干净提取)
curl -s "https://r.jina.ai/https://d.com/" | head -30
前四项是技术配置,第五项用来验证"AI 眼里你的页面长什么样"。
六、为什么很多企业网站全踩空
上面这些配置的实现成本其实很低——robots.txt 改几行、JSON-LD 加两块 script、llms.txt 写一个纯文本文件,都是标准配置项,不涉及额外开发工作量。
但现实是大部分企业官网一项都没做:建站模板自带的 robots.txt 就把 AI 爬虫挡在门外,交付清单里也从来不含 llms.txt 和结构化数据。难点不在实现,而在知道要做——这是 GEO 现阶段最大的信息差。
七、自检清单汇总与实战经验
按第五节那 5 条 curl 命令逐项过一遍即可。第 5 条(r.jina.ai)尤其推荐,它直接呈现"AI 爬虫眼里你的页面长什么样",比看 HTML 源码直观得多。
补充几条实战经验:
- 改完 robots.txt 别急着验收:各 AI 平台重新抓取有延迟(几天到几周),去对应平台的站长工具提交重新抓取能提速
- llms.txt 虽非官方标准,但已被多家 AI 平台识别,成本极低值得做
- 结构化数据务必用 Google Rich Results Test 校验,格式错了等于白写
- 别只盯首页:服务页、案例页、FAQ 页才是 AI 回答具体问题时最常引用的页面
- 同一事实要跨站一致:公司名、地址、成立年份在官网和各内容平台必须完全一致,AI 会交叉验证
技术问题欢迎在评论区讨论,看到的都会回。
关于我们
本文来自 铜莫智云技术部 的工程实践。我们做企业内容自动化与 GEO(生成式引擎优化),这份排查清单是我们给企业官网做 AI 搜索可达性诊断的标准动作。官网或内容被 AI 引擎"隐身"的话,欢迎评论区交流排查思路。
本文原创,转载请注明出处。文中命令与配置示例均可直接复用,无需授权。