摘要:用关闭JS的抓取工具实测页面,很多企业站核心页只返回空壳HTML。本文给出一套可复现的诊断命令、SSR/SSG迁移的最小配置思路,以及迁移后“AI能不能读到”的验收口径。
一、问题现象:浏览器里看得到,AI爬虫读到的是空壳
用关闭JavaScript的抓取方式拉取一个典型企业站的产品页,返回的HTML里经常只有导航骨架和几段占位文字,产品参数、检测报告、资质证书全部不存在——它们在浏览器里是JS执行后渲染出来的。对不执行JS的爬虫来说,这个页面没有任何有效信息。
公开数据里,超85%的AI引荐流量来自不执行JavaScript的爬虫。对依赖AI搜索获取询盘的企业站来说,这不是“优化项”,是准入门槛:内容再专业,爬虫读不到,等于不存在。
二、诊断步骤(可直接照做)
以下命令在Linux/macOS终端执行,替换成你的目标URL。
- 关闭JS抓取,对比浏览器DOM
# 模拟不执行JS的抓取,保存返回内容
curl -L -A "Mozilla/5.0 (compatible; AICrawlerCheck/1.0)" \
"https://example.com/product/xxx" -o page_nojs.html
# 统计页面可见文本量(粗略)
grep -oP '(?<=>)[^<]{2,}' page_nojs.html | wc -l
# 检查关键参数是否存在于原始HTML
grep -i "精度\|量程\|认证\|检测报告" page_nojs.html
如果浏览器里能看到“精度±0.01mm”,而 curl 返回的HTML里 grep 不到,说明这段内容在JS渲染层,爬虫读不到。
- 检查robots.txt是否放行AI爬虫
curl -s "https://example.com/robots.txt"
重点看有没有对 GPTBot、ClaudeBot、Bytespider、Google-Extended 等UA做 Disallow。很多站点的robots是从旧模板抄的,默认拦了不认识的爬虫。
- 检查Sitemap完整性与核心页覆盖
curl -s "https://example.com/sitemap.xml" | grep -c "<loc>"
curl -s "https://example.com/sitemap.xml" | grep -i "product\|cert\|case"
产品页、资质页、案例页是否在Sitemap里;数量是否和站内实际核心页对得上。
- 检查关键事实是否以PDF/图片存在
# 抓取页面中所有PDF和图片链接
grep -oP 'href="[^"]+\.pdf"' page_nojs.html | sort -u
grep -oP 'src="[^"]+\.(jpg|png|webp)"' page_nojs.html | head
检测报告、资质证书如果是扫描PDF或图片,且页面上没有对应的结构化文本摘要,AI爬虫无法识别其中的事实。
三、迁移方案:SSR/SSG的最小配置思路
诊断确认内容在JS渲染层后,迁移方向是核心页服务端渲染(SSR)或静态生成(SSG),交互型页面可以保留CSR。不需要全站重构,按页面类型分:
- 必须SSG/SSR:产品详情页、资质页、案例页、解决方案页——这些是AI抽取事实的主要来源;
- 可保留CSR:后台、表单、个性化推荐模块;
- 必须转文本:PDF/图片中的关键参数、认证编号,在页面上以结构化文本复述一遍。
以Next.js为例,产品页用 getStaticProps 或 getServerSideProps 输出参数表:
// pages/product/[id].js
export async function getStaticProps({
params }) {
const product = await getProduct(params.id);
return {
props: {
product }, revalidate: 3600 };
}
export default function Product({
product }) {
return (
<main>
<h1>{
product.name}</h1>
<table>
<tbody>
{
product.specs.map(s => (
<tr key={
s.key}><th>{
s.key}</th><td>{
s.value}</td></tr>
))}
</tbody>
</table>
<section>
<h2>资质与认证</h2>
{
product.certs.map(c => (
<p key={
c.id}>{
c.name}:{
c.number}(有效期至{
c.expiry})</p>
))}
</section>
</main>
);
}
同时注入Schema/JSON-LD,让实体和属性可被机器解析:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Product",
"name": "示例产品",
"brand": {
"@type": "Brand", "name": "示例品牌" },
"additionalProperty": [
{
"@type": "PropertyValue", "name": "精度", "value": "±0.01mm" }
]
}
</script>
非Next.js站点同理:模板层直出HTML,或用预渲染中间件对爬虫UA返回静态版本。关键是首屏HTML里就有事实文本,不依赖客户端JS。
四、验收口径:怎么算“迁移完成”
不看本地文件,不看构建日志,只看线上可观测结果。以下五条全过才算验收通过:
- 关闭JS抓取,核心页能 grep 到关键参数和资质文本(用第二节的 curl 命令复测);
- robots.txt 放行主流AI爬虫UA,且Sitemap包含全部核心页;
- 产品参数、认证编号、检测结论以结构化文本存在,PDF/图片仅作附件,不作唯一载体;
- JSON-LD 可被解析:用 curl 抓页面后检查 application/ld+json 块完整、字段无空值;
- 至少两个主流AI平台实测:用固定问题集提问(如“某类设备精度能做到多少”),确认品牌或产品信息能被召回,而不是只看搜索引擎收录。
验收记录建议做成表:URL、抓取时间、关闭JS后的文本命中项、robots状态、JSON-LD状态、AI平台召回结果。这份表比任何“优化完成”的口头结论都有用。
五、常见踩坑
- 只改了首页:首页SSR了,产品页还是CSR,AI抽取事实主要发生在产品页;
- robots误拦:新加的爬虫UA没放行,或沿用了拦截所有非主流UA的旧规则;
- PDF当唯一载体:参数只在PDF里,页面上没有文本复述;
- Schema字段空值:JSON-LD写了但 value 为空,解析后等于没写;
- 验收只看浏览器:浏览器能看≠爬虫能读,必须用关闭JS的方式复测。
关于作者:司曜珩GEO交付团队,GEO服务商,专注AI友好型网站建设与AI获客优化,服务制造业B2B企业,立足江门、覆盖大湾区。