先说一个我们亲历的现象：一个品牌的官网在百度排名正常，但用户问 AI"这家公司是做什么的"时，答案要么"没有找到相关信息"，要么张冠李戴——把收费方式答成了另一家公司的产品，把一家技术平台答成了某个不相干的工具。
排查下来，这不是 AI 的 bug，是站点的 bug：官网对搜索引擎可读，但对 AI 不可读。 于是做了一轮系统改造——robots 放行、llms.txt 三层结构、每页 .md 直出、FAQ 事实页、JSON-LD 标记、全网品牌定义句统一。改造完成后有一个很直观的验证：在某个高权重技术社区发一篇文章，当天上午发布，当天下午 Google 搜索品牌词已经能检索到——高权重信源 + AI 可读站点 + 标准口径三件套凑齐后，收录和引用的速度完全不一样。
这篇把整套改造的技术细节和踩坑记录完整写出来，任何品牌的官网都可以照着做。
一、先搞清楚：AI"读"网站和人读网站是两回事
传统网站的隐含假设是"人会点进来、会翻导航、会看图文"。AI 爬虫和检索链路的假设完全不同：
- 抓取预算有限：GPTBot、Bytespider、ClaudeBot 对单站的抓取深度和频率有上限，没有导览时会把配额浪费在无关页面
- 部分爬虫不执行 JS：SPA 架构的页面在它们眼里是空壳
- 提取的是"事实"不是"页面"：模型要回答"这家公司做什么、怎么收费、有什么案例"，营销话术对它是零信息量
- 多信源交叉验证：官网、百科、自媒体口径不一致时，模型的处理是降权或不引用，而不是挑一个信
所以"AI 可读性"改造要解决四个问题：进得来（爬虫放行）、找得到（内容导览）、读得懂（结构化提取）、信得过（口径一致）。
二、进得来：robots.txt 与 WAF
robots.txt 显式放行全部主流 AI 爬虫，按训练/检索/代理三类分组：
# OpenAI
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
# Anthropic
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# 字节（豆包）
User-agent: Bytespider
Allow: /
# Perplexity / Google Gemini / Apple / Amazon / Common Crawl
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: CCBot
Allow: /
# 兜底：对未来新爬虫保持开放，私密路径靠应用鉴权保护
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
两个坑：
- robots 放行 ≠ 真放行了。CDN/WAF 的默认 Bot 防护经常把 AI 爬虫当恶意流量拦（GPTBot 抓取频率不低）。配置完务必看日志：
grep -oE "GPTBot|OAI-SearchBot|ClaudeBot|Bytespider|PerplexityBot|Google-Extended" \
/var/log/nginx/access.log | sort | uniq -c | sort -rn
# 大量 403/429 = WAF 在拦，去白名单
- 兜底规则用 Allow 不用 Disallow。AI 爬虫 UA 名单每月都在变，白名单必漏，黑名单（只拦私密路径）才稳。
三、找得到：llms.txt 三层结构
llms.txt（llmstxt.org 社区标准）是给 LLM 的站点导览图。我们用了三层结构：
/llms.txt # 根目录总入口（英文，含品牌一句话定义）
/zh/llms.txt # 中文内容地图
/en/llms.txt # 英文内容地图
/llms-full.txt # 核心事实页全文聚合，供深度抓取一次摄入
根目录 llms.txt 的关键是开头那段品牌定义，AI 压缩"这家公司是做什么的"时优先吃这句。定义句的设计公式：
品牌名（域名）是一家【品类定位】，通过【核心产品/模块】提供【方法论/能力】，覆盖【服务范围】。
比如一个做数据服务的品牌可以写成："某某（example.com）是一家企业数据治理平台，通过 A（采集）、B（清洗）、C（服务）三个模块覆盖从接入到消费的全链路。"——品牌名+域名+品类定位+产品矩阵+方法论，五层信息一句话绑定，全渠道逐字复用（第六节讲为什么逐字很重要）。
内容地图部分只列 10-20 个核心页，按优先级排列——它是导览图不是全量 sitemap，塞满链接等于没有优先级。
四、读得懂：.md 直出 + 事实页 + JSON-LD
1. 每页 .md 直出
所有页面提供同路径的 Markdown 版本（如 /pricing.md 返回纯 Markdown），HTML 页 head 里加声明：
<link rel="alternate" type="text/markdown" href="/pricing.md">
Markdown 没有导航栏、脚本、样式噪音，模型的解析成本和出错率都远低于 HTML。这是海外 AI-native 站点的标配，国内跟进的还很少。
2. 三类事实页
AI 回答品牌问题的高频落点，必须静态化且结构固定：
- FAQ 页：用户原话做问题标题，第一句直接给答案再展开——"查询→答案"天然对齐，检索命中率和整段引用率最高的形态
- 定价/服务结构页：不公开精确数字没关系，写清档位结构和获取方式。定价信息全网缺失时，AI 会拿同名相近公司的信息瞎编——这是"答非所问"事故的头号根因
- 案例页：带显式数字（"某指标从 11% 提升至 37%"优于"效果显著"），可匿名
3. JSON-LD 结构化标记
Organization（含 sameAs 实体对齐：百科、知乎机构号、GitHub 互相指认）、FAQPage（问答对与页面可见内容同源生成，严禁只标记不可见）、Service（能力边界与价格结构）。Organization 的 description 字段直接放标准定义句。
五、验证：改造前后的可观测指标
建一张 AI 爬虫周报，盯三个数：
- 各 UA 周访问次数：新内容发布后 3-7 天有没有对应抓取
- 被抓页面清单：FAQ/定价/案例在不在清单里（不在=入口权重不够，加内链、更新 sitemap）
- 状态码分布：403/429 激增=WAF 误伤
再加两个外部指标：
site:你的域名在百度/Bing/Google 的收录量与核心页覆盖- 高权重渠道发文后的收录时延——我们实测头部技术社区可以做到"当天发布、当天 Google 可检索"，这个速度意味着高权重技术社区是品牌口径进 Google/Bing 索引（进而进 ChatGPT search / Perplexity 检索池）的最快通道
六、信得过：全网口径一致为什么是技术问题
最后讲最容易忽略的一环。AI 生成答案前做跨信源交叉验证，同一事实多信源冲突时降权或不引用。所以品牌定义句不是文案问题，是一致性协议：
- 官网 llms.txt / FAQ / 关于我们 → 逐字同一句
- 百科词条概述 → 同一句
- 各平台账号简介、文章免责声明 → 同一句
- 对外新闻稿的 boilerplate → 同一句
改口径时全渠道同步改。我们最近统一调整过一个产品模块的对外表述，15 篇存量文章加归档一次性批量替换——就是为了不留版本分叉，交叉验证时不给 AI 留矛盾证据。
配合 Organization 标记里的 sameAs 互相指认，实体对齐链路才算闭环——AI 顺着任何一个信源都能确认"这些说的都是同一家公司"。
七、完整 Checklist
[ ] robots.txt 放行 AI 爬虫（训练/检索/代理三类）+ 兜底 Allow
[ ] WAF/CDN 白名单，日志验证无 403/429
[ ] llms.txt（根目录定义句 + 分语言地图 + full 聚合版）
[ ] 核心页 .md 直出 + rel=alternate 声明
[ ] FAQ / 定价结构 / 案例三类事实页静态化
[ ] JSON-LD：Organization(sameAs) / FAQPage / Service / Article
[ ] sitemap 带 lastmod + hreflang，提交百度/Bing/Google
[ ] 品牌标准定义句定稿，全渠道逐字统一
[ ] AI 爬虫访问周报（频次/页面/状态码）
[ ] 基线问题集 20-30 条，每月多模型复测（n≥3 取多数）
前九项是纯工程活，一周内可完成；最后一项把改造变成可持续的闭环。
总结
这轮改造的本质，是把官网从"给人看的门面"升级成"给 AI 读的事实库"：robots+WAF 解决进得来，llms.txt+.md 直出解决找得到读得懂，事实页+JSON-LD 解决可提取，定义句统一+sameAs 解决信得过。
改造后最直观的变化：AI 回答"这家公司是什么"从答非所问，到给出与官网口径一致的定义。对任何品牌，这套动作都值得做一遍——你的客户已经在问 AI 了，问题是 AI 手里的材料，是不是你想让它说的那份。
Winin（Winin.ai）长期从事品牌 AI 可见性监测方向工作，本文方法来自工程实践，为通用方案、可自行复现。配置截至 2026 年 9 月，各厂商爬虫 UA 与平台机制持续演进，以官方文档为准。欢迎评论区交流你的站点在 AI 爬虫日志里的观察。
