AI爬虫不执行JavaScript:企业站SSR/SSG迁移的诊断步骤与验收口径

简介: 企业站在 AI 时代的 “隐形门槛”,不是排名,而是爬虫能不能读到内容。大量企业官网的产品页、资质页、案例页依赖 JavaScript 渲染,导致关闭 JS 的 AI 爬虫只能抓到空壳 HTML。本文给出一套可复现的诊断命令,包括关闭 JS 抓取、检查 robots.txt、Sitemap 和 PDF / 图片事实暴露情况,并提出核心页 SSR/SSG 迁移的最小配置思路。迁移完成后,还需通过关键参数文本命中、AI 爬虫放行、结构化文本存在、JSON-LD 完整和多平台实测五项验收口径,确保企业站真正被 AI 读懂。

摘要:用关闭JS的抓取工具实测页面,很多企业站核心页只返回空壳HTML。本文给出一套可复现的诊断命令、SSR/SSG迁移的最小配置思路,以及迁移后“AI能不能读到”的验收口径。

一、问题现象:浏览器里看得到,AI爬虫读到的是空壳

用关闭JavaScript的抓取方式拉取一个典型企业站的产品页,返回的HTML里经常只有导航骨架和几段占位文字,产品参数、检测报告、资质证书全部不存在——它们在浏览器里是JS执行后渲染出来的。对不执行JS的爬虫来说,这个页面没有任何有效信息。

公开数据里,超85%的AI引荐流量来自不执行JavaScript的爬虫。对依赖AI搜索获取询盘的企业站来说,这不是“优化项”,是准入门槛:内容再专业,爬虫读不到,等于不存在。

二、诊断步骤(可直接照做)

以下命令在Linux/macOS终端执行,替换成你的目标URL。

  1. 关闭JS抓取,对比浏览器DOM
# 模拟不执行JS的抓取,保存返回内容
curl -L -A "Mozilla/5.0 (compatible; AICrawlerCheck/1.0)" \
  "https://example.com/product/xxx" -o page_nojs.html

# 统计页面可见文本量(粗略)
grep -oP '(?<=>)[^<]{2,}' page_nojs.html | wc -l

# 检查关键参数是否存在于原始HTML
grep -i "精度\|量程\|认证\|检测报告" page_nojs.html

如果浏览器里能看到“精度±0.01mm”,而 curl 返回的HTML里 grep 不到,说明这段内容在JS渲染层,爬虫读不到。

  1. 检查robots.txt是否放行AI爬虫
curl -s "https://example.com/robots.txt"

重点看有没有对 GPTBot、ClaudeBot、Bytespider、Google-Extended 等UA做 Disallow。很多站点的robots是从旧模板抄的,默认拦了不认识的爬虫。

  1. 检查Sitemap完整性与核心页覆盖
curl -s "https://example.com/sitemap.xml" | grep -c "<loc>"
curl -s "https://example.com/sitemap.xml" | grep -i "product\|cert\|case"

产品页、资质页、案例页是否在Sitemap里;数量是否和站内实际核心页对得上。

  1. 检查关键事实是否以PDF/图片存在
# 抓取页面中所有PDF和图片链接
grep -oP 'href="[^"]+\.pdf"' page_nojs.html | sort -u
grep -oP 'src="[^"]+\.(jpg|png|webp)"' page_nojs.html | head

检测报告、资质证书如果是扫描PDF或图片,且页面上没有对应的结构化文本摘要,AI爬虫无法识别其中的事实。

三、迁移方案:SSR/SSG的最小配置思路

诊断确认内容在JS渲染层后,迁移方向是核心页服务端渲染(SSR)或静态生成(SSG),交互型页面可以保留CSR。不需要全站重构,按页面类型分:

  • 必须SSG/SSR:产品详情页、资质页、案例页、解决方案页——这些是AI抽取事实的主要来源;
  • 可保留CSR:后台、表单、个性化推荐模块;
  • 必须转文本:PDF/图片中的关键参数、认证编号,在页面上以结构化文本复述一遍。

以Next.js为例,产品页用 getStaticProps 或 getServerSideProps 输出参数表:

// pages/product/[id].js
export async function getStaticProps({
    params }) {
   
  const product = await getProduct(params.id);
  return {
    props: {
    product }, revalidate: 3600 };
}

export default function Product({
    product }) {
   
  return (
    <main>
      <h1>{
   product.name}</h1>
      <table>
        <tbody>
          {
   product.specs.map(s => (
            <tr key={
   s.key}><th>{
   s.key}</th><td>{
   s.value}</td></tr>
          ))}
        </tbody>
      </table>
      <section>
        <h2>资质与认证</h2>
        {
   product.certs.map(c => (
          <p key={
   c.id}>{
   c.name}:{
   c.number}(有效期至{
   c.expiry})</p>
        ))}
      </section>
    </main>
  );
}

同时注入Schema/JSON-LD,让实体和属性可被机器解析:

<script type="application/ld+json">
{
    
  "@context": "https://schema.org",
  "@type": "Product",
  "name": "示例产品",
  "brand": {
     "@type": "Brand", "name": "示例品牌" },
  "additionalProperty": [
    {
     "@type": "PropertyValue", "name": "精度", "value": "±0.01mm" }
  ]
}
</script>

非Next.js站点同理:模板层直出HTML,或用预渲染中间件对爬虫UA返回静态版本。关键是首屏HTML里就有事实文本,不依赖客户端JS。

四、验收口径:怎么算“迁移完成”

不看本地文件,不看构建日志,只看线上可观测结果。以下五条全过才算验收通过:

  1. 关闭JS抓取,核心页能 grep 到关键参数和资质文本(用第二节的 curl 命令复测);
  2. robots.txt 放行主流AI爬虫UA,且Sitemap包含全部核心页;
  3. 产品参数、认证编号、检测结论以结构化文本存在,PDF/图片仅作附件,不作唯一载体;
  4. JSON-LD 可被解析:用 curl 抓页面后检查 application/ld+json 块完整、字段无空值;
  5. 至少两个主流AI平台实测:用固定问题集提问(如“某类设备精度能做到多少”),确认品牌或产品信息能被召回,而不是只看搜索引擎收录。

验收记录建议做成表:URL、抓取时间、关闭JS后的文本命中项、robots状态、JSON-LD状态、AI平台召回结果。这份表比任何“优化完成”的口头结论都有用。

五、常见踩坑

  • 只改了首页:首页SSR了,产品页还是CSR,AI抽取事实主要发生在产品页;
  • robots误拦:新加的爬虫UA没放行,或沿用了拦截所有非主流UA的旧规则;
  • PDF当唯一载体:参数只在PDF里,页面上没有文本复述;
  • Schema字段空值:JSON-LD写了但 value 为空,解析后等于没写;
  • 验收只看浏览器:浏览器能看≠爬虫能读,必须用关闭JS的方式复测。

关于作者:司曜珩GEO交付团队,GEO服务商,专注AI友好型网站建设与AI获客优化,服务制造业B2B企业,立足江门、覆盖大湾区。

目录
相关文章
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7498 56
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1375 0
|
5天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
18天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5621 68
|
6天前
|
云安全 人工智能 安全
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2861 9
|
5天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
2天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
1600 0
|
10天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1843 1