带你读《2022技术人的百宝黑皮书》——淘宝长辈模式技术实践万字总结(10)https://developer.aliyun.com/article/1340490?groupCode=taobaotech
实验模型设计
因为需要回收手淘长辈模式一、二期各个改造点的实验数据,所以长辈模式各个链路必须要有各自独立的实验,且必须要保证各个实验流量的正交性,如下图左,如果一、二期各个改造点实验不能保证其正交性,也就是意味着每个实验对照组和对照组的用户是一致的,实验组和实验组的用户是一致的,那么每个对照组和实验组的对比效果会被放大,实际得到只是整个一二期对照组和实验组的对比,所以长辈模式一、二期各个改造点对应的实验必须保证其正交性,如下图右,才能科学的评估出各个改造点的增量。
普适的A/B方案,目前都只关注在单个实验每个实验组数据效果评估,从而验证最佳策略,而对于手淘长辈模式全链路改造项目而言,我们做了首页、搜索、购物车等链路的改造,这一系列的改造点是否能够做到1+1>=2的效果, 则需要采用科学的A/B实验模型设计方案评估出项目整体增量效果,这里使用了一休A/B平台抽象出来的全局空桶模型能力回收长辈模式整体效果数据,最终的实验模型。如下:
上面的实验模型中,无论是一期、二期的改造点流量,只要命中全局空桶的2%流量,那么则不做任何干预,实验放量之后,各个改造点验证完最优策略并放量后,一、二期实验域中则保留了最优策略数据,通过回收全局空桶(2% 流量)与实验域(98%流量)的数据,则可以科学评估出项目整体的价值。
后续展望
手淘长辈模式1.0,已经在2021年10月12日正式上线,包含适老化一期和二期项目改造。适老化三期项目正在实施中,将进一步提升产品体验。
一键切换、淘小宝、银发族的专属会场等等专门为银发群体定制的产品功能,已吸引百万级长辈用户,实现用户活跃率两位数的增长,成交转化率等指标也有显著提升。
上线1个月多,长辈模式对比淘宝亲情版,长辈模式的月活率+4.9pt,浏览转化率+5.6pt。DAU也在稳步提升中, 同时我们还很惊喜的发现不但老年人爱用,还有很多中青人也偏好使用长辈模式,数据标明切换长辈模式的用户中,有七分之一是45岁以下的非老年用户。后续银发版项目组将继续从产品体验,业务规模,创新增长三个角度去深化改造内容。
人总有变老的一天,关注老年群体的使用体验,就是在帮助未来的我们。对老年群体的关注,既是阿里人社会担当和责任的提现,更是业务新的价值与增强点。通过银发版项目淘宝最终实现社会价值与业务价值的双赢。
团队介绍
手机淘宝银发版项目组,由近10个团队的同学组成,涵盖几乎手机淘宝所有职能岗位,组成了一支能打赶闯、肩负社会责任感和个人使命感的队伍。通过小闭环和快速迭代,将不断迸发出创想,变为触手可及的现实。如果你有兴趣加入我们,联系 yiyuan.zhangyy@alibaba-inc.com。
欢迎各位身怀绝技、创意满满,踏实沉稳,乐于助人的你;特别是即将走出校门的同学们,银发版项目组是一个快速帮你打开视野,立体化感受到中国互联网文化的团队。期待你的来信。