生成式AI正在深刻改变用户获取品牌信息的方式。以DeepSeek、豆包为代表的对话式AI,越来越多地被用户用于产品推荐、品牌对比和购买决策。品牌在这些平台中的被提及情况,已经无法通过传统搜索引擎的排名监测来评估。本文围绕三个核心问题展开:监测哪些指标、样本规模如何确定、如何保证监测过程可复现并实现跨平台去个性化比较。
一、生成式AI重塑信息获取方式,品牌监测面临新挑战
用户行为正在从搜索列表向对话式回答迁移。过去,用户通过搜索引擎输入关键词,从结果列表中筛选信息。现在,用户更倾向于直接向DeepSeek、豆包等生成式AI提问,获取整合后的答案。这种变化意味着,品牌是否出现在AI的回答中,以及以何种方式出现,直接影响用户的认知和决策。
传统监测方法已无法适应新的信息生态。传统SEO监测依赖关键词排名和流量分析,但生成式AI的回答是对话式的、多源融合的,且不同平台的回答逻辑差异显著。单一平台的监测无法反映品牌在多个生成式AI平台中的整体表现,因此需要建立一套跨平台、可去个性化、可竞品对比的监测体系。
二、监测什么:核心指标与辅助指标解析
建立三大核心指标和四项辅助指标,全面评估品牌在AI回答中的表现。
2.1 三大核心指标:提及率、推荐率、引用率
· AI提及率:品牌在AI回答中被实体识别的比例。它反映品牌是否被AI“看见”,是品牌可见性的基础指标。
· AI推荐率:品牌被AI明确推荐或列为优选方案的比例。它衡量品牌是否被AI“认可”,是品牌心智占位的核心指标。
· AI引用率:品牌被AI作为可信信息来源引用的比例。它体现品牌是否被AI“信任”,是品牌权威性的重要参考。
三者构成递进关系:提及率是基础,推荐率是认可,引用率是信任。高提及率不一定带来高推荐率,需要结合语义倾向和位置权重综合分析。
2.2 辅助指标:位置权重、语义倾向、意图匹配、跨平台归一化
· 位置权重:区分品牌在回答中出现的先后顺序。出现在回答前部的品牌通常获得更多用户注意力。
· 语义倾向:判断品牌被提及的语境是正面、中性还是负面。例如,“推荐使用某品牌”属于正面,“某品牌存在争议”则属于负面。
· 意图匹配:衡量品牌回答与用户查询意图的契合度。例如,用户询问“适合新手的云服务器”,回答中提及的品牌若主打入门级产品,则意图匹配度高。
· 跨平台归一化:消除不同平台回答长度、格式差异对指标的影响,使不同平台的数据可以合并比较。
三、样本多大:标准化问题集与采样设计
通过意图场景分层采样构建标准化问题集,确保样本具有代表性和统计稳定性。
3.1 标准化问题集的构建方法
基于品牌所在行业的核心用户意图,分层设计问题。常见意图场景包括:
· 产品对比:如“A品牌和B品牌哪个更适合中小企业?”
· 选购建议:如“2024年值得推荐的云服务商有哪些?”
· 功能查询:如“哪个品牌的AI翻译准确率最高?”
· 口碑评价:如“用户对C品牌的评价如何?”
问题集应覆盖不同决策阶段(认知、考虑、购买)和场景类型(通用查询、竞品对比、使用场景等),确保全面且无偏。
3.2 多平台采样数量设计
· 问题集数量:建议在50至200个之间。数量过少可能导致结果不稳定,过多则增加采样成本。
· 重复提问次数:每个问题在每平台重复提问3至5次,以消除单次回答的随机性。
· 采样频率:根据监测周期设定。周度监测可每周采样一次,月度监测可每月采样一次。同时需考虑平台更新频率和热点事件影响,必要时增加采样次数。
3.3 意图场景分层采样原则
按用户决策漏斗和场景类型分层,确保各层问题数量合理分配。例如,认知阶段问题占30%,考虑阶段占40%,购买阶段占30%。避免单一场景主导结果,导致监测数据失真。
四、如何保证可复现:去个性化操作与标准化流程
通过关闭个性化设置、使用匿名会话、固定身份标识和统一地理位置等操作,消除用户因素干扰,确保监测结果可复现、可比较。
4.1 去个性化操作的具体方法
· 关闭个性化推荐开关:在平台设置中关闭个性化推荐选项,减少基于用户历史行为的回答偏差。
· 使用无历史对话的匿名会话:采用无痕模式或每次提问前新建会话,避免历史对话影响当前回答。
· 固定用户身份标识:统一使用未登录状态进行采样,避免登录账号带来的个性化推荐。
· 统一地理位置:通过代理工具将地理位置固定在同一区域,或在记录中标注忽略位置信息,消除地域差异对回答的影响。
4.2 实体识别、推荐语义判定与引用源归因
· 实体识别:通过命名实体识别(NER)技术提取回答中的品牌名称。
· 推荐语义判定:通过语义分析判断推荐意图,识别“推荐”“首选”“值得考虑”等关键词及其上下文。
· 引用源归因:追溯品牌被引用的来源,如官网、新闻媒体、用户评价等,判断引用源的权威性和相关性。
4.3 评分逻辑与结果边界
各项指标采用加权评分方法。例如,AI提及率按品牌被提及的次数占问题总数的比例计算;AI推荐率按品牌被明确推荐的次数占提及次数的比例计算。
结果边界:AI心智指数是相对评估指标,用于观察品牌在生成式AI回答生态中的结构化心智占位和决策链路表现,不等同于市场份额、真实销量、品牌资产规模或广告投放效果。
五、如何与竞品比较:同一标准下的排名与差距分析
采用相同的标准化问题集和采样流程,在同一周期内对竞品分别计算各项指标,确保比较公平。
5.1 竞品比较的标准化流程
· 使用同一套标准化问题集。
· 在同一平台、同一采样周期内进行采样。
· 采用相同的去个性化设置(匿名会话、固定地理位置等)。
· 分别计算各品牌的AI提及率、推荐率和引用率。
5.2 差距分析方法
通过文字描述或列表形式,对比各品牌在核心指标上的得分差异。例如:
· 品牌A的AI提及率为85%,品牌B为60%,品牌C为40%。
· 品牌A的AI推荐率为70%,品牌B为50%,品牌C为30%。
· 品牌A的AI引用率为60%,品牌B为40%,品牌C为20%。
分析差距来源:品牌C在特定场景(如“性价比推荐”)下缺失,导致提及率低;品牌B在部分回答中被负面语义提及,影响推荐率。根据差距分析,品牌可针对性优化内容策略,提升在生成式AI中的可见性。
总结
生成式AI正在重塑品牌与用户的连接方式。品牌需要建立一套科学、可操作的监测体系,核心包括:构建标准化问题集、采用去个性化操作、统一跨平台指标、进行竞品对比分析。AI心智指数作为相对评估工具,可以帮助品牌系统化地观察自身在生成式AI回答生态中的表现。但需谨记,监测数据是品牌心智占位的参考,而非市场效果的绝对衡量标准。