本专题共10篇内容,包含淘宝APP基础链路过去一年在用户体验数据科学领域(包括商详、物流、性能、消息、客服、旅程等)一些探索和实践经验,本文为该专题第二篇。
在商详页基于用户动线和VOC挖掘用户决策因子带来浏览体验提升;在物流侧洞察用户求助时间与实际物流停滞时长的关系制订表达策略带来物流产品满意度提升;在性能优化域构建主客观关联模型找到启动时长与负向反馈指标的魔法数字以明确优化目标;构建多源VOC标签体系综合运用用户行为和用户VOC洞察、落地体验优化策略,并总结出一套用户体验分析方法论。
本文为此系列第二篇文章,前一篇见——
第一篇:淘宝用户体验分析方法论
前言
用户体验是用户在使用产品过程中建立起的一种主观感受,它与用户的预期强相关,不同用户带着不同的需求使用同一款产品体验存在着差异,倘若能够通过数据感知这些差异并形成产品优化策略落地,势必会给产品带来体验提升。
在本文中,笔者将简要介绍数据科学如何基于用户行为动线和用户VOC(Voice Of Customer)数据构建指标和标签,洞察用户行为动线和用户意图差异点,挖掘影响消费者在详情浏览体验的关键因素,指引产品落地优化策略并带来体验提升效果。此外,本文将采用BPPISE数科案例框架编写,以便读者能够清晰地理解整个案例的工作过程。
业务背景
通过用户满意度调研获知,消费者在宝贝详情页上对关键信息获取和信息筛选效率存在较大的诉求,彼时行业关键因子(尺码、参数、成分等)分散,前台固定心智表达待提升。为提升消费者在详情浏览体验,我们希望围绕行业维度差异决策因子,对商品主图、首屏信息等关键模块进行升级,提升消费者决策链路流畅度,进而带来商家经营增量。
传统的商品决策因子供给依赖行业小二的经验输入,部分行业依靠用户调研,范围有限、粒度较粗,无法细化到类目、人群维度进行精细化运营。因此,在本案例中,数据科学综合运用主客观数据建立分析模型,洞察出不同人群、类目下用户在详情的行为和需求和差异点,给出产品体验优化建议,设计AB实验验证效果。
问题定义
数据科学是一门将“现实业务问题”转换为“数据世界中的问题”,再采用数据科学的理论、技术和工具等将数据转化为知识,为解决业务问题提供直接指导的学科。围绕业务问题,我们需要准确地定义出数据可解的问题。
▐ 数据选择
巧妇难为无米之炊,在定义数据问题前,首先要明确需要哪些数据来解决问题,以确保问题的可衡量性。在了解业务问题的基础上,思考详情产品体验升级背后的核心假设为:不同的用户带着不同的需求进入手淘后浏览不同类目商品其关注因素可能不同,若详情产品构建灵活的差异化承接能力,势必会给决策效率和成交转化率带来增长机会。
基于该假设可以推导研究两类数据对解决问题会启到关键作用:
- 1 用户动线数据:用户在进入到离开详情的一系列时序行为数据,包括模块的曝光、滑动、点击、停留等,该类数据能反应出用户具体表现。
特别地,有别于传统的页面级埋点数据(即页面浏览、曝光、点击事件),该场景需要精细化到单个页面内的模块级埋点数据(包括模块滑动、曝光、点击、停留等)。
- 2 用户原声数据(VOC):用户通过APP反馈渠道吐露的原声,该类数据可提取出不同用户对不同商品信息表达的不同需求。
特别地,由于VOC来源渠道多,文本信息处理复杂且成本较高, 需要精准地选择目标数据,以在项目中保持方向和专注。
VOC渠道 |
数据特点和限制 |
商家客服咨询 |
用户在售前、售后产生的与商品、服务咨询,偏主动 |
APP用户反馈 |
用户使用手淘过程中遇到产品体验问题,偏售前、主动 |
平台求助 |
用户下单后遇到的求助、纠纷类问题,偏售后、主动 |
商品评价 |
用户收货后的评价,偏售后、被动 |
问大家 |
用户C2C对商品信息的咨询,偏售前、主动 |
淘宝VOC数据源及特点汇总
结合淘宝VOC数据特点和限制,选择商家客服咨询作为本案例中了解用户对详情商品表达差异化需求的目标数据源。特别地,选择该数据是基于一个基础认知:消费者从商详入口进线咨询的第一句有效语聊大概率是该用户在售前针对商品信息最关注的问题,即最能体现出用户需求。该问题可能是对商品的疑虑、信息缺失、咨询建议等。
▐ 问题定义
在确认具备解决业务问题的目标数据后,我们给出本案例的数据问题定义:
如何基于用户动线及商家客服咨询VOC建立数据模型,分析归纳影响用户在详情决策的关键因素,洞察不同行业不同人群决策因子差异以指导详情产品结构化表达策略,提升浏览转化效率。
数据准备
数据的收集、加工和预处理是数据科学的重要一环,本节介绍如何准备模块级的埋点、VOC标签数据,确保提供干净、一致、可用基础数据,以帮助项目获得更准确的结果。
▐ 用户动线数据
模块 |
事件 |
埋点名称 |
埋点参数 |
价格模块 |
曝光 |
曝光-主页-价格组件-展现 |
Page_Detail_Show-Price |
点击 |
控件-主页-价格组件-点击 |
Page_Detail_Button-Price |
|
标题模块 |
曝光 |
曝光-主页-品牌业务标-展现 |
Page_Detail_Show-Brand |
点击 |
控件-主页-品牌业务标-点击 |
Page_Detail_Button-Brand |
|
曝光 |
曝光-主页-标题组件-展现 |
Page_Detail_Show-Title |
|
点击 |
控件-主页-标题-长按-分享 |
Page_Detail_Button-GoodsTitleShare |
|
... |
... |
详情事件埋点示意表
用户动线数据重点介绍下埋点采集环节:有别于传统的客户端页面埋点, 本案例需要精确到页面内模块级的分析,因此自定义了一套埋点规范以感知用户在模块间关注点差异。如上表,定义并收集了详情内标题、属性参数、图文详情等多个模块组件的点击、展现、消失埋点,以支撑产出用户核心浏览指标(控件曝光率、点击率、关闭率、横滑率、停留时长等)。
▐ 用户VOC数据
商家客服咨询会话数据隐藏着大量用户对商品的诉求和决策信息,为了支撑后续结构化分析,需要对VOC数据进行标签化工作,以确保数据的可用和高效。
- 标签设计
一级标签 |
二级标签 |
三级标签 |
商品咨询 |
商品参数 |
产地、存储方式、成分、... |
商品包装 |
包装方式、规则数量... |
|
商品使用 |
食用方式、注意事项 |
|
... |
... |
|
库存咨询 |
是否有货 |
... |
... |
... |
... |
VOC标签设计示例
为保证标签数据产出的一致性,有必要明确标签设计原则,标签分为三级:
- 一级:for跨行业可对比分析的通用咨询类型,咨询话术不因商品、行业的差异性有显著区别;
- 二级:for单个行业内跨一级类目可对比分析的咨询类型,在一类的咨询关键词里语义相近,比如食品行业内,茶vs乳制品;
- 三级:for单个一级类目内跨叶子类目可对比分析的咨询类型,在一类的咨询关键词里语义相近,比如茶类目下,普洱vs花草茶。三级包括:采摘时间、适用茶具、生长季节等。
- 标签提取
标签提取流程示意图
VOC标签的提取工作本质是一个文本分类问题,NLP分类随着Bert提出和演进趋于成熟,影响分类效果的关键因素是如何构建准确的训练集。结合业务现状诉求,对构建训练集要求如下:
- 训练集应尽可能覆盖可能出现的数据情况以确保模型泛化能力
- 构建训练集过程应尽可能高效以满足项目节奏且节约加工成本
如上图,为解决a、b两项问题,在流程中先通过文本聚类,对同一类目下用户原声进行归纳以全面感知用户咨询意图构成,标签生产迭代过程中可在较短周期内对标签定义达成共识,提升训练集构建效率。
实际的用户原声数据中会存在长短句不一致问题,常规文本聚类方法(例如通过TF-IDF/Word2Vec再求均值生成句子向量的方式)聚出来类簇很散、准确度较低,聚类结果也无法作为标注结果。该案例中,采用BIO+CRF的方法对VOC进行二元关键短语提取,结合词性判断进行特征提取,组装为:动词+动词、动词+名词、形容词+名词等组合,再通过DBSCAN进行聚类。该类方法的特点在于:
- 关键短语提取:一段短文本中最能代表其核心含意大概率是一段二元的短语组合,且动词+动词、动词+名词、名词+形容词等短语组合最能突显短文本中心思想。如:页面#打不开(n+adj)、关闭#交易(v+n)。
- DBSCAN聚类:针对一个新的商品类目,无法评估可设计的标签数及对VOC的整体利用率。基于密度的DBSCAN聚类法天然将VOC划分为两大类:可构成类簇、不可构成类簇(噪声);可统计噪声占比指标评估VOC利用率,持续优化生产链路中各类参数。
分析洞察
准备好所需数据后,我们着手开始分析,通常是4步走:明确分析目标、设计分析思路、形成分析结论、落地数据策略。
▐ 分析目标
详情动线分析的三大主体为“用户”、“商品”、“浏览行为”,围绕“什么样的用户”进入“什么商品”产生了“什么样的浏览行为”采集各模块的浏览、点击、停留时长数据及行为时序。综合归纳主流用户的行为路径及关注信息,对产品体验进行升级,满足消费者诉求;同时挖掘部分用户的行为及关注点差异,判断是否具备业务放大价值。
- 什么样的用户:客观特征(年龄、消费力、性别等)+主观意图(买/逛)
- 什么商品:品类、决策周期、价格特征等
- 什么样的浏览行为:模块曝光点击率、停留时长、跳失情况等
▐ 分析思路
动线分析是基于如下假设:不同人群、类目、场景的用户决策因子的差异化和增强表达,可提升详情用户浏览体验,提升购物决策效率。
- 假设树
- 分析维度
- 分析指标
▐ 分析结论(男装)
- 动线分析
- VOC分析
▐ 策略产出(男装)
- 整体结论
对于男装类目的详情页,用户对a、b、c模块的关注高,a模块引导客服多,主要由于现有详情可能存在细节图/效果展示缺失、尺码成分基础信息不容易查找等体验问题。对于男装购买决策而言,用户主要关注尺码、质量、...等(有季节特性)。
从来源看,首猜来源的用户逛的特点显著,更倾向于通过店铺推荐或进店寻找感兴趣的商品;而直播页来源的用户整体浏览深度显著较浅...。
从人群看,男性用a模块的意愿高且更关注款式,会员更关注x,新客更关注y,高购用户更关注z。
从类目看,用户在x类目中,对a、b、c的关注显著更高。
- 优化建议
基于分析结论给出产品优化建议,需明确业务是否采纳,跟进落地节奏。特别地,数科同学对产品/业务的认知和了解程度不同,其优化建议并不一定每次都被采纳,部分建议存在着历史已上线的情况,需与产品同学紧密沟通以推进落地。
策略落地
效果评估
实验分层
实验数据:笔数转化率显著+x%,单uv价值显著+y%,成交uv转化率微正;人均ipv显著-a%、人均停留时长显著-b%。
实验解读:基于本案例的优化方法能明显提升详情产品转化效率(笔数转化率显著提升),增强用户决策效率(人均ipv和停留时长显著降低),但同时也未能让更多用户转化(成交uv转化率效果微弱),本质上带来的是产品体验的提升,效果符合预期。
团队介绍
我们是大淘宝技术交易履约数据科学团队,负责面向淘宝交易履约链路(下单、支付、购物车、物流、逆向等)海量数据挖掘DAU、DAC及用户体验增长机会。团队致力于围绕用户行为路径、用户VOC洞察用户需求,基于人货场匹配落地交易链路触达、转化、复购和体验策略,提升消费者购物体验。
目前团队招聘中,欢迎拥有消费者、商品、交易、营销等相关领域数据分析/数据科学背景的优秀人才加入,有兴趣可将简历发送至zhuqi.zq@taobao.com 。