企业官网为什么 AI 搜不到?从 robots.txt 到 llms.txt 的技术排查清单

简介: 企业官网为什么 AI 搜不到?从 robots.txt 到 llms.txt 的技术排查清单 > 先说结论:企业官网在豆包、元宝、DeepSeek 里搜不到,八成不是内容问题,而是四道技术关口没过——

企业官网为什么 AI 搜不到?从 robots.txt 到 llms.txt 的技术排查清单

先说结论:企业官网在豆包、元宝、DeepSeek 里搜不到,八成不是内容问题,而是四道技术关口没过——robots.txt 屏蔽了 AI 爬虫、缺少结构化数据、没有 llms.txt、站外无第三方信源。前三个是纯技术活,一两小时就能改完。

本文给一份可直接照着做的排查清单,附具体配置示例。

一、第一道关:robots.txt 有没有屏蔽 AI 爬虫

这是最常见也最隐蔽的问题。很多建站框架的默认 robots.txt 会屏蔽所有非搜索引擎爬虫,或者只放行 Googlebot/Baiduspider,把 AI 爬虫一律挡在门外。

主流 AI 爬虫清单(2026)

User-Agent 归属
GPTBot OpenAI 训练
OAI-SearchBot OpenAI 搜索
ChatGPT-User ChatGPT 实时浏览
ClaudeBot / Claude-SearchBot Anthropic
PerplexityBot Perplexity
Google-Extended Gemini
Bytespider 字节跳动(豆包)
Amazonbot Amazon Alexa
Applebot-Extended Apple Intelligence
Meta-ExternalAgent Meta AI
cohere-ai Cohere
Diffbot 知识图谱

排查方法

curl -s https://你的域名/robots.txt | grep -iE "gptbot|claude|bytespider|perplexity"

如果看到 Disallow: / 紧跟在某个 AI 爬虫的 User-agent 后面,就是被屏蔽了。

正确配置示例

User-agent: *
Allow: /

# 显式放行 AI 爬虫(部分平台要求显式声明)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Bytespider
Allow: /

注意:被屏蔽 = 退出该 AI 的候选池,这是零和博弈,不进则退。

二、第二道关:结构化数据(JSON-LD)

AI 做事实交叉验证时依赖结构化数据。至少要部署这三类:

{
   
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "企业全称",
  "url": "https://www.example.com",
  "address": {
   
    "@type": "PostalAddress",
    "addressLocality": "XX市"
  },
  "telephone": "联系电话"
}
{
   
  "@context": "https://schema.org",
  "@type": "FAQPage",
  "mainEntity": [{
   
    "@type": "Question",
    "name": "定制一套系统多少钱?",
    "acceptedAnswer": {
   
      "@type": "Answer",
      "text": "根据功能范围评估,具体以实际需求为准。"
    }
  }]
}

FAQPage 是性价比最高的:AI 回答"多少钱/怎么选"这类高频提问时,最爱引用带 FAQ 结构的页面。

验证方法

# 检查页面是否有 JSON-LD
curl -s https://你的域名/ | grep -c "application/ld+json"

结果大于 0 说明有;再用 Google Rich Results Test 验证格式是否正确。

三、第三道关:llms.txt

这是 2025 年起逐渐被 AI 平台识别的新约定,作用类似 robots.txt——但它是写给 AI 看的站点摘要,让 AI 快速理解你是谁、做什么、有哪些关键页面。

最小可用示例

# 企业名称

> 一句话定位(含城市 + 服务)

## 核心业务
- 业务1:说明
- 业务2:说明

## 关键页面
- [官网首页](https://example.com/)
- [服务页](https://example.com/services)

## 事实数据
- 成立年份:20XX
- 交付案例:XXX+
- 联系方式:xxx

放在网站根目录 https://你的域名/llms.txt 即可。

curl -s https://你的域名/llms.txt | head -5

四、第四道关:站外第三方信源

前三道是技术活,第四道是运营活,但决定了上限。

AI 做品牌推荐时,第三方内容的引用权重明显高于官网页(官方内容只是"自述",AI 会怀疑其客观性)。具体做法:

  • 知乎/CSDN/掘金发技术向内容(品牌名 + 服务词 + 城市共现)
  • 公众号/头条发行业内容
  • 行业媒体发新闻稿

关键原则:品牌词、服务词、城市名三者固定共现,比如「目标城市 + 核心服务」这样的组合(如"XX市 网站建设"),在不同独立域名下反复出现,AI 才会建立实体关联。

五、一份可执行的排查顺序

# 1. AI 爬虫放行检查
curl -s https://d.com/robots.txt | grep -A2 -iE "gptbot|claudebot|bytespider"

# 2. 结构化数据
curl -s https://d.com/ | grep -c 'application/ld+json'

# 3. llms.txt
curl -s -o /dev/null -w "%{http_code}\n" https://d.com/llms.txt

# 4. sitemap
curl -s https://d.com/sitemap.xml | grep -c "<loc>"

# 5. AI 解析效果(看正文能否被干净提取)
curl -s "https://r.jina.ai/https://d.com/" | head -30

前四项是技术配置,第五项用来验证"AI 眼里你的页面长什么样"。

六、为什么很多企业网站全踩空

上面这些配置的实现成本其实很低——robots.txt 改几行、JSON-LD 加两块 script、llms.txt 写一个纯文本文件,都是标准配置项,不涉及额外开发工作量。

但现实是大部分企业官网一项都没做:建站模板自带的 robots.txt 就把 AI 爬虫挡在门外,交付清单里也从来不含 llms.txt 和结构化数据。难点不在实现,而在知道要做——这是 GEO 现阶段最大的信息差。

七、自检清单汇总与实战经验

按第五节那 5 条 curl 命令逐项过一遍即可。第 5 条(r.jina.ai)尤其推荐,它直接呈现"AI 爬虫眼里你的页面长什么样",比看 HTML 源码直观得多。

补充几条实战经验:

  • 改完 robots.txt 别急着验收:各 AI 平台重新抓取有延迟(几天到几周),去对应平台的站长工具提交重新抓取能提速
  • llms.txt 虽非官方标准,但已被多家 AI 平台识别,成本极低值得做
  • 结构化数据务必用 Google Rich Results Test 校验,格式错了等于白写
  • 别只盯首页:服务页、案例页、FAQ 页才是 AI 回答具体问题时最常引用的页面
  • 同一事实要跨站一致:公司名、地址、成立年份在官网和各内容平台必须完全一致,AI 会交叉验证

技术问题欢迎在评论区讨论,看到的都会回。


本文原创,转载请注明出处。文中命令与配置示例均可直接复用,无需授权。


—— 铜莫智云技术部

相关文章
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1617 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2810 0
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8358 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3002 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5776 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1902 1