TL;DR · 内容摘要，太长不看

llms.txt 是放在网站根目录的一份 Markdown 文件，专为 LLM 和 AI Agent 编写，作用相当于"给 AI 看的网站导航 + 使用说明书"。

• 为什么：AI 直接读 HTML 浪费 Token、容易迷路、引用出错；llms.txt 用 10 行文字替它把路标标好。
• 和谁不同：robots.txt 说"别碰这里"，sitemap.xml 甩一份 URL 清单，llms.txt 说"重点看这几页"——语义级而非机械级。
• 怎么做：根目录建文件 → 写 150–200 字简介 → 列 5–10 条核心链接（各附一句说明）→ 定期更新。
• 值不值：在 GEO（生成式引擎优化）语境下，这是让 AI 在回答用户时把你列为"权威来源"的最低成本动作。

📌 适合：技术站长、开发者文档负责人、关注 AI 搜索流量的产品/市场团队。

一项面向 AI 时代的新事实标准正在互联网上快速兴起：网站在根目录提供一份 /llms.txt 文件，供大语言模型（LLM）和 AI 智能体（AI Agent）高效地理解网站结构与核心内容。

简单来说，llms.txt 就是专门写给 LLM 和 AI Agent 看的"网站导航图"兼"使用说明书"。

该概念由 fast.ai 创始人 Jeremy Howard 于 2024 年下半年提出（项目官网：llmstxt.org），目前已被众多知名开源项目、技术文档网站和前沿博客广泛采用。

一、为什么需要 llms.txt？

在过去，网站是写给人类看的。网页中充斥着 HTML 标签、CSS 样式、JavaScript 脚本、广告、侧边栏和导航菜单。传统搜索引擎（如 Google、百度）的爬虫在抓取时，有成熟的算法从中提取正文，屏蔽噪声。

然而，当 AI 搜索（如 Perplexity、ChatGPT Search）或 AI 智能体（如 AutoGPT、Devin）来访问您的网站时，问题就来了：

1. Token 浪费：AI 逐字读取充满噪声的 HTML，既消耗大量 Token 推高成本，又挤占有限的上下文窗口。
2. 迷失方向：面对成百上千个网页，AI 很难快速判断"这个网站的核心价值是什么""哪篇文档才是最权威的入门指南"。
3. 幻觉风险：若 AI 恰好抓取了过时或边缘页面，回答用户问题时便可能产生"幻觉"或给出错误引用。

llms.txt 的出现，正是为了给 AI 提供一份纯净、结构化、基于 Markdown 的"导览手册"，明确告诉它："我是谁，核心内容在哪里，请优先阅读这些链接。"

二、llms.txt 与 robots.txt、sitemap.xml 的区别

在引入 llms.txt 之前，先回顾两个更古老的协议。

回顾 robots.txt 与 sitemap.xml

robots.txt

robots.txt（机器人排除协议）是互联网上历史最悠久的爬虫控制文件。

互联网早期，网页抓取程序野蛮生长，频繁请求常常导致小型服务器过载瘫痪。1994 年，早期搜索引擎 WebCrawler 的开发者 Martijn Koster 提出了一种基于纯文本文件的"君子协定"——让网站管理员可以声明哪些目录不允许爬虫访问。

2022 年 12 月，IETF 正式发布 RFC 9309，将 robots.txt 的语法格式确立为互联网标准（RFC 9309）。需要指出的是，该标准仅规范了 robots.txt 文件本身的语法；基于 HTTP 响应头的 X-Robots-Tag 和 HTML <meta name="robots"> 标签虽在实践中被主流搜索引擎支持，但并不属于该标准的范畴。

sitemap.xml

如果说 robots.txt 是"防御性"的（告诉爬虫"别去哪"），那么 sitemap.xml（站点地图协议）则是"建设性"的（主动把核心内容"端"给爬虫）。

随着 Web 2.0 和动态网页的兴起，搜索引擎很难仅靠"顺藤摸瓜"（沿超链接逐层爬取）发现所有深层页面。Google 率先推出了基于 XML 的站点地图协议，让站长主动提交 URL 列表。该协议最初名为 Google Sitemaps，后演变为行业通用标准：只要符合 sitemaps.org 的规范，生成的 XML 文件即可被全球主流搜索引擎统一解析。

sitemap.xml 的核心版本（Sitemap Protocol 0.9）自 2008 年发布至今未经历大版本更迭，足见其设计之稳定。

三者对比

llms.txt、robots.txt 和 sitemap.xml 构成了现代网站与机器交互的"三驾马车"，但分工截然不同：

一个关键洞察

robots.txt 长期作为各大搜索引擎默契遵守的事实标准存在，但即便已升格为 IETF 标准，它也只能约束"守规矩"的爬虫。大量恶意爬虫、数据搬运机器人、漏洞扫描器根本不会读取它，其抓取行为规模庞大且具有破坏性。

换言之，精心编写的 robots.txt 在实践中往往只剩这么一行有意义：

User-agent: *

Sitemap: https://example.com/sitemap.xml

不守规则的抓取工具不会因 Disallow 而止步，反而会像"欢迎" sitemap.xml 一样，把 llms.txt 当作"菜单"照着爬——它们对规则毫无敬畏，但绝不放过任何线索。

因此，robots.txt（同理 llms.txt）不能当作访问控制或安全边界。由于这些文件对所有人公开可见，切勿在其中列出敏感路径。以下写法相当于主动暴露后台入口：

User-agent: Bytespider
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: *
Disallow: /secret-admin-panel/

真正的安全防护必须依赖身份认证、IP 白名单等访问控制机制，而非"写在文件里就不让看"。

三、llms.txt 文件长什么样？

llms.txt 是一个纯文本文件，强烈建议采用 Markdown 格式——LLM 对 Markdown 的解析能力极佳。

一个典型的 llms.txt 结构如下：

markdown

# {您的网站名称}

> {您的网站名称}是一个专注全球数字艺术品收藏与交易的在线平台。

## 核心业务
- 提供数字艺术品的确权与交易服务。
- 为独立创作者提供作品展示橱窗。

## 核心文档与指南（推荐 AI 优先阅读）
- [新手入门指南](/docs/getting-started.md)：了解如何注册并完成首次交易。
- [API 接口文档](/docs/api-reference.md)：开发者如何接入我们的交易系统。
- [创作者守则](/policies/creator-rules.md)：平台对上传内容的审核标准。

## 近期重要更新
- [2026 年 Q3 平台规则调整说明](/blog/2026-q3-updates)

## 完整知识库（可选）
如需完整的上下文来回答复杂问题，请参考：
- [完整知识库 (llms-full.txt)](/llms-full.txt)

注：llms-full.txt 是一种进阶实践——将网站所有核心文档的 Markdown 原文拼接为一个大文件，供拥有超长上下文窗口的 AI 模型一次性读取，避免多次跳转。

四、对网站主的战略意义：GEO

在传统的 SEO（搜索引擎优化）时代，我们围绕关键词优化，争夺 Google、百度的排名。而在 AI 时代，GEO（Generative Engine Optimization，生成式引擎优化）正在崛起。

设想这样一个场景：用户向 Perplexity 或 ChatGPT 提问——

"请推荐一个靠谱的数字艺术品交易平台，并告诉我如何接入他们的 API。"

• 没有 llms.txt 的网站：AI 可能在海量 HTML 中迷失，恰好抓取到一篇过时的论坛帖子，从而给出错误信息。
• 有 llms.txt 的网站：AI 爬虫（如 PerplexityBot）会优先读取 llms.txt，快速解析网站定位与核心内容，理解您的业务，并将您的"API 接口文档"链接作为权威引用来源呈现给用户。

结论：部署 llms.txt 是抢占 AI 搜索流量入口、让您的网站成为 AI"标准答案"来源的低成本、高回报策略。

五、落地建议

如果您希望被 AI 搜索（Perplexity、ChatGPT Search 等）更好地收录与引用，建议按以下步骤操作：

1. 在网站根目录创建 llms.txt 文件（确保返回 Content-Type: text/plain 或 text/markdown）。
2. 用 Markdown 撰写一段 150–200 字的网站简介，清晰说明"我是谁、做什么、为谁服务"。
3. 列出 5–10 个最核心的页面链接（如产品页、API 文档、权威报告），使用相对路径或绝对 URL，每条附一句简短说明。
4. 保持内容简洁、客观，不要嵌入 HTML 标签或 JavaScript。
5. 定期更新——尤其在新功能上线、文档改版后同步修改，避免 AI 引用过时信息。

六、总结

llms.txt 不是强制性技术标准，而是 AI 时代网站与机器沟通的"新礼仪"。它标志着互联网的内容分发逻辑，正从"为人类阅读而设计"向"为机器理解而优化"发生深刻转变。

与其等待 AI 在 HTML 的丛林中迷路，不如主动递上一张清晰的地图。

七、FAQ/常见问题

问题1：不做 llms.txt 会怎样？AI 是不是就不收录我的站了？

不会。llms.txt 不是收录的"准入条件"，而是"优先通道"。没有它，AI 依然能通过 sitemap.xml、正文抓取等方式访问你的网站，只是效率低、容易抓错页面。做了 llms.txt，等于给 AI 铺了一条"VIP 快速通道"——它大概率会优先读取、优先引用。不做不致命，做了更占便宜。

问题2：我已经有 sitemap.xml 了，还需要 llms.txt 吗？

需要，两者解决不同问题。sitemap.xml 是一份无差别的 URL 清单（可能几百上千条），llms.txt 是一份带语义的"编辑推荐"（5–10 条 + 一句说明）。对 AI 而言，从 500 条 URL 里猜"哪条最重要"，和直接被告知"请优先读这 7 条"，体验完全不同。两者互补，不互斥。

问题3：怎么让 AI 真正"发现"我的 llms.txt？需要加特殊 HTTP 头吗？

目前（截至 2025 年中）的通用约定是：放在网站根目录 /llms.txt，返回 200，Content-Type 建议为 text/plain; charset=utf-8 或 text/markdown; charset=utf-8。部分 AI 爬虫（如 PerplexityBot）会主动请求该路径；部分则依赖 robots.txt 中的 Sitemap: 提示或 Link HTTP 头（rel="llms"）来发现。

保险做法：在 robots.txt 末尾加一行

Sitemap: https://example.com/llms.txt

并在主页 <head> 中声明

<link rel="llms" href="/llms.txt">

双保险，成本几乎为零。

问题4：llms.txt 会不会成为新的信息泄露面？

不会——前提是你只写"你本来就想让全世界知道的内容"。llms.txt 和 robots.txt 一样，是公开文件，任何匿名访问者都能 GET 到。因此：

• 不要在其中暴露未公开的内部链接、API 密钥、管理后台路径。
• 不要在文件里写"我们还有一个 /internal/ 目录不对外"这类话。

它本质上是你的"门店橱窗说明"，不是"仓库钥匙"。

问题5：中文站 / 小型独立站有没有必要做？

有，甚至更有必要。大厂技术文档站本身就有大量结构化内容，AI 即便迷路也能兜住；而小站、独立博客、垂类产品页一旦 AI 抓错页面，用户得到的引用就是错的，品牌印象直接受损。而且 llms.txt 的编写成本极低（一次 20 分钟，之后偶尔更新），对小站来说几乎是"免费流量杠杆"。

问题6：需要多久更新一次？

没有硬性周期。建议触发式更新：

• 上线 / 下线核心功能页面时；
• 文档大版本改版后；
• 每 1–2 个月检查一次链接是否 404。

电话换了，名片总会更新一下，对吧？