什么是 llms.txt？
llms.txt 是一个提议的标准，旨在帮助 AI 模型更好地理解你的网站内容。与 robots.txt 或 sitemap.xml 不同，它通过提供结构化的内容和导航来增强 AI 互动。
目的和优势
- 增强 AI 理解：帮助 AI 系统快速准确地理解你的网站。
- 高效信息检索：使 AI 系统能够高效地定位和检索相关信息。
- 改善上下文理解：通过提供内容之间的上下文关系，减少误解。
- 更好的用户体验：当用户与 AI 互动内容时，提供更准确、更具上下文感知的响应。
- 克服上下文限制：通过提供精简的内容访问，帮助 AI 系统在窗口内工作。
llms.txt 与 robots.txt 和 sitemap.xml 的区别
虽然这些文件看起来相似，但它们有不同的用途：
- robots.txt：专注于控制搜索引擎爬虫的访问，但不帮助内容理解。
- sitemap.xml：列出所有可索引的页面，但不提供上下文或帮助内容处理。
- llms.txt：通过提供优化的内容结构，专门解决 AI 理解网站。
llms.txt 规范
该规范定义了两个不同的文件：
- /llms.txt：一个精简的文档导航视图，帮助 AI 系统快速理解网站结构。
- /llms-full.txt：一个包含所有文档的综合文件。
这两个文件都使用 Markdown 格式，便于解析。
基本实现指南
1. 创建文件结构
llms.txt 文件使用具有特定结构的 Markdown：
# 你的网站/项目名称
> 你的网站或项目的简要描述
## 文档
- [入门指南](/docs/getting-started) - 新用户指南
- [API 参考](/docs/api) - 完整的 API 文档
- [教程](/docs/tutorials) - 逐步指南
## 示例
- [基本实现](/examples/basic) - 简单的集成示例
- [高级功能](/examples/advanced) - 使用高级功能
## 可选资源
- [社区论坛](/community) - 从其他用户那里获得帮助
- [更新日志](/changelog) - 跟踪更新和更改
2. 将文件放在正确的位置
将文件保存为 llms.txt 并放在网站的根目录中，确保可以通过 yourwebsite.com/llms.txt 访问。如果你正在创建包含所有文档的版本，请将其保存为 llms-full.txt。
3. 添加 HTTP 头部（可选但推荐）
在服务器配置中添加以下 HTTP 头部：
X-Robots-Tag: llms-txt
4. 验证实现
- 访问
yourwebsite.com/llms.txt - 检查 HTTP 头部
- 验证文件格式
使用 llms.txt 与 AI 系统
目前，大多数 AI 模型不会自动发现和索引 llms.txt 文件。
- 直接链接：向 AI 提供指向你的 llms.txt 文件的链接。
- 手动复制：将 llms.txt 文件的内容直接复制到你的提示中。
- 文件上传：如果可用，使用 AI 工具的文件上传功能。
随着采用率的提高，更多的 AI 系统可能会集成自动发现 llms.txt 文件的功能。
在哪里可以找到所有 llms.txt 文件的列表？
llms.txt 中心迅速成为一个流行的开源中心，允许你：
- 发现各个平台的实现。
- 研究领先组织如何构建他们的 llms.txt 文件。
- 获取与该标准相关的最新发展。
- 找到用于在你的网站上实现 llms.txt 的开源工具、插件和资源。
通过探索这个目录，开发人员和内容创作者可以观察实现模式，了解最佳实践。
生成工具
有几个工具可以帮助你生成 llms.txt 文件：
- dotenv 的 llmstxt：一个开源 CLI 工具，根据网站的
sitemap.xml文件生成llms.txt。 - Firecrawl 的 llmstxt：使用 Firecrawl 生成 llms.txt 文件。
- Mintlify：一个带有 llms.txt 生成功能的文档平台。
实际例子
许多组织已经采用了 llms.txt 提议标准：
- Cloudflare：所有 Cloudflare 服务的文档。
- Anthropic's llms.txt：他们所有的文档和提示库。
- Perplexity's llms-full.txt：全面的实现，包括他们所有的文档和内容网站。
- ElevenLabs：关于他们的 API 和产品指南的所有文档。
最佳实践
- 保持更新：随着网站结构的变化，定期更新你的 llms.txt 文件，确保 AI 系统拥有最新的信息。
- 使用清晰的 Markdown 结构：
-
- 以 H1 项目名称开头。
- 包括一个块引用摘要。
- 使用 H2 标题组织文档链接。
- 为每个链接提供简要描述。
- 有选择性：在 llms.txt 中专注于最重要的资源，使用可选部分来放置不太重要的内容。
- 用 AI 系统测试：验证 AI 模型是否根据你的 llms.txt 文件正确解释和导航内容。
- 优化 AI 处理：在 llms-full.txt 中移除非必要的标记和脚本，帮助 AI 模型专注于重要内容。
