一份技术清单：让 AI 更准确引用你网站信息的实操步骤
本文从技术实现的角度，整合 robots.txt 配置、结构化标记、llms.txt 部署、内容可读性优化等实操步骤，帮助团队系统性地提升网站的机器可读性。
你做过 SEO、上过 HTTPS、配过 CDN。你的网站在 Google 搜索里表现不错。但当用户用豆包或 ChatGPT 搜你的业务时，AI 的回答可能引用的是过时信息、竞品页面，甚至第三方网站的错误描述。
这个差距不在"网站质量"，而在"机器可读性"——你的网站对人很友好，但对 AI 来说是一堵模糊的墙。
本文整理一份实操清单，分四个层级，从前端到后端，按优先级排列。每项都给出具体命令或代码，可以直接拿去做。
前置：先看看你的网站现在对 AI 是什么状态
在做任何改动之前，先跑一次诊断：
# 1. 检查 robots.txt 是否允许 AI 爬虫
curl https://你的域名/robots.txt | grep -E "GPTBot|ChatGPT-User|Bytespider|Google-Extended|anthropic-ai"
# 2. 检查是否有 llms.txt
curl -I https://你的域名/llms.txt
# 3. 检查是否有结构化标记
curl https://你的域名/ | grep 'application/ld+json'
# 4. 检查 sitemap
curl https://你的域名/sitemap.xml | head -20
四项全空白 → 你的网站对 AI 几乎是"盲区"。有一到两项 → 有基础但不够。下面按层级补。
第一层：网络准入（优先级最高）
AI 能爬你网站的前提是它能访问到。这一层不解决，后面全白做。
1.1 robots.txt 配置
# /robots.txt —— 根目录
# 搜索引擎：全放行
User-agent: Googlebot
Allow: /
User-agent: Baiduspider
Allow: /
# AI 联网搜索爬虫：放行
User-agent: ChatGPT-User
Allow: /
# AI 训练爬虫：按需（含用户数据的网站建议禁止）
User-agent: GPTBot
Disallow: /
Sitemap: https://你的域名/sitemap.xml
验证：
curl -I -H "User-Agent: ChatGPT-User" https://你的域名/
# 应返回 200
1.2 页面可访问性
确认页面没有因为 JS 动态渲染导致 AI 爬虫拿到空页面：
# 模拟爬虫视角（不看 JS 渲染结果）
curl https://你的域名/重要页面 | head -50
# 看 <body> 里有没有实际文字内容
如果看到的是空的 <div id="app"></div>（SPA 单页应用），需要：
- 加服务端渲染（SSR）或预渲染
- 或者在
<noscript>里放关键内容摘要
1.3 响应时间
AI 爬虫的抓取超时通常比搜索引擎短（5-10 秒）。TTFB < 500ms 为优，< 1s 可接受。
第二层：结构化标记（让 AI 读懂每个页面）
HTML 对人友好，JSON-LD 对 AI 友好。每个页面嵌入一段 Schema.org 标记。
2.1 首页/关于页：Organization
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "★公司全称",
"url": "★https://你的官网域名",
"description": "★可在公开渠道核验的一句话描述",
"foundingDate": "★成立年份",
"sameAs": ["★知乎主页", "★其他官方渠道"]
}
</script>
2.2 产品页：SoftwareApplication 或 Product
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "SoftwareApplication",
"name": "★产品名称",
"description": "★功能和适用场景",
"applicationCategory": "★BusinessApplication",
"operatingSystem": "★Web",
"offers": {
"@type": "Offer",
"price": "★价格数字",
"priceCurrency": "★CNY"
}
}
</script>
2.3 FAQ 页：FAQPage
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [{
"@type": "Question",
"name": "★用用户语言写的完整问题",
"acceptedAnswer": {
"@type": "Answer",
"text": "★完整的、独立的答案"
}
}]
}
</script>
2.4 验证
在线验证工具：
第三层：llms.txt 部署（让 AI 知道重点在哪）
3.1 llms.txt（导航）
根目录 /llms.txt：
# ★网站名称
> ★一句话描述
## 核心页面
- [★页面标题](★完整URL)：★一句话摘要
- [★页面标题](★完整URL)：★一句话摘要
## 产品
- [★产品页标题](★URL)：★摘要
3.2 llms-full.txt（正文合集）
根目录 /llms-full.txt，每页格式：
--- [★页面标题](★URL) ---
★该页面的完整正文，去除导航/页脚/广告
---
--- [★下一页标题](★URL) ---
★正文
3.3 自动化生成脚本
import os
SITE_NAME = "★你的网站名称"
SITE_DESC = "★一句话描述"
BASE_URL = "★你的域名"
PAGES = [
("/about/", "关于我们", "公司介绍"),
("/products/", "产品", "功能介绍"),
# 添加更多...
]
def gen_llms_txt():
lines = [f"# {SITE_NAME}", "", f"> {SITE_DESC}", "", "## 核心页面", ""]
for path, title, summary in PAGES:
lines.append(f"- [{title}]({BASE_URL}{path})：{summary}")
lines.append("")
return "\n".join(lines)
# 写入文件
with open('public/llms.txt', 'w', encoding='utf-8') as f:
f.write(gen_llms_txt())
第四层：内容可读性（让 AI 引用时不出错）
4.1 品牌定义句
在"关于我们"页面首段写一句 50-100 字的品牌定义句，包含：公司全称、官网域名、品类/赛道、核心产品。这句话需要在所有渠道逐字一致（百科、知乎、公众号简介、新闻通稿模板）。
4.2 事实数据可核验
检查所有产品页和 FAQ 页：
- 价格：不写"价格实惠"，写 "¥X-Y/月/年"
- 数据：不写"服务大量客户"，写"服务 200+ 企业（截至 202X年X月）"
- 版本：不写"支持最新版本"，写"支持 v2.3（2026年6月发布）"
4.3 元标签完善
<title>★页面标题 - ★网站名</title>
<meta name="description" content="★含关键词的 140 字内精确描述">
<link rel="canonical" href="★规范 URL">
<meta property="article:published_time" content="★ISO 8601 日期">
<meta property="article:modified_time" content="★ISO 8601 日期">
4.4 无索引页面管理
确认不该被 AI 引用的页面加了 noindex：
<meta name="robots" content="noindex, nofollow">
验收清单
部署完成后，逐项检查：
☐ robots.txt 对 Googlebot/Baiduspider/ChatGPT-User 放行
☐ curl 验证首页 HTTP 200、TTFB < 1s
☐ SPA 页面有实际内容（非空白 <div>）
☐ 首页有 Organization Schema，无语法错误
☐ 产品页有 Product/SoftwareApplication Schema
☐ FAQ 页有 FAQPage Schema
☐ /llms.txt 可访问，内容完整
☐ /llms-full.txt 可访问（如果有）
☐ 品牌定义句首段可读、各渠道一致
☐ 价格/数据等关键信息可核验
☐ 无索引页面已加 noindex
☐ sitemap.xml 已更新
总结
这套配置全部做完，对技术团队来说是半天到一天的工作量。但它带来的变化是结构性的——不是"写了一篇好文章被 AI 引用"的一次性收益，而是"AI 以后每次来都能准确读懂你的网站"的持续改善。
最关键的三项如果只做一件：先做 Schema.org 标记（Organization + 产品页 + FAQ）。这是 ROI 最高的单项——不需要改网站结构，不需要内容创作，只是嵌入 HTML 的几段 JSON。
本文整合的技术方案均为Winin（Winin.ai) 基于公开标准（robots.txt 协议、Schema.org、llms.txt 社区规范），不涉及任何商业产品。所有代码模板可自由使用。
