只知道ABtest?测试方法还有这些,数据分析师都得掌握!

简介: 只知道ABtest?测试方法还有这些,数据分析师都得掌握!

业务方要你人工智能大数据精准预测,预测偏差多少钱,就扣你多少钱的工资,你怕不?!偏偏真的就有很多类似场景,话不多说,直接上干货:

问题场景:

某互联网金融公司准备通过投放获取投资客户,最近听说私域流量很火,但是从来没在公众号渠道试验过,现计划在公众号渠道进行投放,请数据分析部门利用大数据人工智能精准预测投放效果,到底做一次投放能赚多少钱。假设你是这个公司的数据分析师……

1 别忘了你还有这个武器

正确回答:预测个屁!业务部门是不懂数据原理的,有想不明白的事搬出“大数据人工智能”就好了。但做数据的人脑子得格外清醒。按题中的场景,业务上连一次都没做过,连数据都没有,这还预测个毛线。这时候应该做测试,先收集一些数据,有了相当的数据积累以后再谈预测的事。

测试从来都是数据分析解决问题的手段。俗话说:是骡子是马,拉出来遛遛。测试就是遛马的过程,结果好坏一眼即明。特别针对:新渠道、新产品、新团队这种创新情况。旧的数据不能完全推演创新,就更得上测试了。

只不过,这些年热炒的都是基于自有App的ABtest,所以很多新人忽视了更普遍的测试设计方法,今天我们系统讲解下。

2 设计测试的基本要求

很多新人会想当然地认为:测试不就是让业务先搞几次,那让他们搞,我们等着收数据不就好了。这种偷懒的想法,会在事后给自己添加无穷无尽的麻烦。

首先,测试是有业务代价的。

比如本场景中,投放是为了拉新用户和新投资,花了钱要见效果,不然肯定被老板diss。

那么相关的问题就来了:

  • 花多少钱?
  • 要做多少效果?
  • 测几轮见效果?
  • 测几轮的损失能不能承担?

这些都得事先有个清晰界定,才能避免纠结。

其次,测试是有内容设计的。

比如本场景中,用户会不会被吸引来,和投放号类型、投放时机、文案、转化路径、产品选择、CTA动作,都有关系,如果一开始不做认真设计。只是简单的丢一个,那很多其他可能无法对比测试,就不能推导出有效结论。

再次,测试是受投入影响的。

比如本场景中,有可能优质的渠道需要花很多钱,有可能用户补贴力度得比其他渠道大一点,导致的结果就是可能第一轮不见效,但第二轮增加力度就见效了!所以要不要做追加投入,也得事先考虑清楚。

由于以上三点,使得测试需要分四个阶段,做好充分的准备再上路(如下图)。

图片

3 部署阶段

部署阶段要解决的是战略问题:

  1. 到底要测试多久
  2. 为测试可以投放多少资源
  3. 测试出什么结果才满意

在本场景中,作为新投放渠道测试,则首先得搞清楚渠道的定位。常见的有:

主力渠道:承担50%+的流量来源,主要投资方向

助攻渠道:承担20%+的流量来源,次要投资方向

边缘渠道:单渠道流量不超过5%,选择性投放

零散渠道:有它没它关系不大,聊胜于无

可以根据当期的整体渠道投放目标,反推需要的流量;之后根据业务上策略(下决心建立新渠道,还是跟风玩玩),把任务分配清楚,之后定义好本次测试新渠道的定位。有了清晰的定位,自然很容易得出:投多少钱,做多少次。有了财力、人力、时间的界定,后续设计方案就简单了。

图片

4 准备阶段

准备阶段要解决的是战术问题:

  1. 到底要测试哪些渠道
  2. 到底测哪些版本
  3. 到底测哪些产品

图片

在本场景中,由于是完全没有经验,因此需要第三方/同业的案例、数据做支持。虽然不能拿到100%准确的数据,但至少能照猫画虎,比如:

  • 同业投放哪些账号
  • 可观察的文章曝光量是多少
  • 小道消息打听来的转化率是多少
  • 业用的什么什么形式

经过梳理,至少有一个大概方向,比闭着眼睛瞎胡做强的多。注意,站在用户角度,影响用户行为的因素是综合性的。比如公众号渠道投放,标题、长度、投放时间、内容写法、CTA、转化路径、产品价格、产品属性等等等都会有影响。

用数据进行测试,很难在一次测试把以上因素全部拆解清楚,因此需要提前准备多个测试版本,且测试版本之间差异不能太大,有一定延续性,这样才能为后期分析做好准备。

以上全部是标红加粗,是因为在实际工作中,业务方经常喜欢纠结细节,结果搞出来的各个版本一个天上一个地下,完全没有可比性。除了看整体转化结果外,细节完全无法对标,因此很难做深入分析。

可以说事后分析的艰难,有80%是因为事先没有做好计划导致的,切记切记。

5 测试与复盘阶段

准备好以后,可以上线测试和复盘。本场景是渠道投放,且目标就是获取新投资用户,因此考核结果指标相对简单清晰,看转化来的用户数,用户投资率,用户投资金额几个指标即可。只要测试结果能达成部署阶段的目标,就算渠道合格,完成任务。如果不行,可以根据事先制定的迭代方案,进行迭代优化,进一步观察效果。

这里要强调的是一些细节问题:

  • 结果判断和原因分析要分开。先判断结果是否可接受,再分析哪个环节有问题。
  • 迭代有顺序进行,产品、价格、内容要分开。最好一次换一个,最差也不要仨一起换。
  • 优先换产品、价格,内容不一条条换。内容涉及细节太多,全部测出来成本太高,因此优先考虑产品和价格。

这样看数据的时候,可以按以下顺序展开:

图片

6 小结

为啥开头要问如何人工智能大数据精准预测?是因为很多同学真的以为能预测!不但业务部门迷信预测,连很多数据分析师自己都信了,还真以为随便搞几个数字就是大数据了,真以为随便怼个模型调个参就是人工智能了,还真为人工智能就是全知全能的上帝一道金光从天而降代码就能变成钞票,随着键盘的敲动从屏幕里喷薄而出……

  • 数据分析,有数据才能分析
  • 没有数据,先采集数据
  • 业务没做过,先做做试试
  • 不要瞎胡试,认真做计划,一步步试

这些看似毫无技术含量的传统流程,才是用数据保障业务增长的秘籍。由于本场景是外部渠道,因此不是用ABtest分流量做对比的思路。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
9天前
|
Java
IDEA快捷测试方法可用性
IDEA快捷测试方法可用性
16 0
|
2月前
|
数据可视化 数据挖掘 数据管理
问卷调查数据分析指南!掌握方法,精准把握用户需求!
本文介绍了如何利用自定义报表、交叉报表和过滤器进行问卷调查数据分析。文章首先区分了定量和定性数据,强调了定量数据在分析中的重要性,并列举了客户体验(CSAT、CES、NPS)和市场调研的关键指标。接着,提到了定性数据分析方法,如情感分析和词云图。文章还讨论了自定义报表、交叉报表和过滤器在数据筛选和相关性探索中的作用,以及收集器在多源数据收集上的应用。最后,强调了仪表板在数据可视化和比较中的优势,并推荐了Zoho Survey作为综合的数据管理平台。
55 0
问卷调查数据分析指南!掌握方法,精准把握用户需求!
|
2月前
|
数据可视化 数据挖掘 Linux
Python数据分析(四)——plot方法
Python数据分析(四)——plot方法
|
2月前
|
安全 测试技术
BOSHIDA DC电源模块的安全性能评估与测试方法
BOSHIDA DC电源模块的安全性能评估与测试方法
 BOSHIDA DC电源模块的安全性能评估与测试方法
|
2月前
|
安全
DC电源模块的安全性能评估与测试方法
DC电源模块的安全性能评估与测试方法 DC电源模块的安全性能评估与测试方法应包括以下几个方面: 1. 输入安全性测试:包括输入电压范围、输入电压稳定性、输入电流范围、输入电流保护等方面的测试。测试方法可以是逐步增加输入电压或输入电流,观察模块的工作状态和保护功能。
DC电源模块的安全性能评估与测试方法
|
2月前
|
监控 JavaScript 前端开发
在生产环境中测试和监控Vue项目的方法有哪些?
在生产环境中测试和监控Vue项目的方法有哪些?
28 4
|
2月前
|
芯片
电容在ESD测试中的选用方法
电容在ESD测试中的选用方法
28 2
|
2月前
|
Java Spring
使用JDBCTemplate实现与Spring结合,方法公用 ——测试(EmpDaoImplTest)
使用JDBCTemplate实现与Spring结合,方法公用 ——测试(EmpDaoImplTest)
9 0
|
7天前
|
测试技术 API Python
Appium控件交互策略:优化自动化测试效率的关键方法
该文介绍了如何使用Selenium与APP进行交互,包括点击、输入和状态判断等操作。例如,通过element.click()点击控件,element.send_keys()输入文本,以及element.is_displayed()检查元素是否可见。还展示了如何获取元素属性,如resource-id、text和class,并提供了Python代码示例来定位并操作APP元素,如滑动条的显示、可点击性检测及点击滑动条中心位置。在编写测试脚本时,应注意元素定位和状态验证以确保测试稳定性。
14 1
|
1天前
|
存储 大数据 测试技术
矢量数据库的性能测试与评估方法
【4月更文挑战第30天】本文探讨了矢量数据库的性能测试与评估方法,强调其在大数据和AI时代的重要性。文中介绍了负载测试、压力测试、容量测试、功能测试和稳定性测试五大评估方法,以及实施步骤,包括确定测试目标、设计用例、准备环境、执行测试和分析结果。这些方法有助于确保数据库的稳定性和高效性,推动技术发展。

热门文章

最新文章