这是 Netflix 关于实验和决策的系列文章,系统介绍了实验对于 Netflix 的重要性,实验的最主要工具--A/B 测试,数据科学和文化在实验与决策过程中的重要性等。整个系列共七篇文章,这是第一篇。原文:Decision Making at Netflix[1]
- Netflix 的决策制定👈
- 什么是A/B测试?
- A/B测试结果之假阳性和显著性统计
- A/B测试结果之假阴性和统计功效
- 在做决定时建立信心
- 实验是数据科学的主要关注点
- 学习的文化
本文是关于 Netflix 如何基于 A/B 测试来做出决定的系列文章的第一篇。基于 A/B 测试做出的决策,Netflix 可以不断改进产品,从而不断提升会员的满意度,让我们的会员享受更快乐的生活。后续文章将涵盖 A/B 测试的基本统计概念、实验在 Netflix 中的作用、Netflix 如何投资基础设施来支持和扩大实验、以及实验文化在 Netflix 中的重要性。
从创立开始,Netflix 的理念就是将消费者的选择和控制置于娱乐体验的中心。作为一家公司,我们不断改进产品,以改善这一价值主张。例如,Netflix 的用户界面在过去十年中经历了彻底的转变。早在 2010 年,用户界面是静态的,只有有限的导航选项,呈现方式的灵感来自于 VCD 租赁店的显示器。如今,用户界面具有沉浸感和视频预览功能,导航选项更丰富但不那么突兀,方框设计更是充分利用了数字体验。
图 1:Netflix 2010 年(上)和 2020 年(下)的 TVUI
Netflix 做出了无数的决策,才从 2010 年的用户体验过渡到了我们今天的用户体验。在大显示屏上显示一个视频标题还是显示多个视频标题?视频比静态图像更好吗?如何在受限网络上提供无缝的视频传输体验?如何选择要显示哪些标题?导航菜单放在哪里,应该包含什么?这样的例子不胜枚举。
做决定很容易,难的是做正确的决定。我们如何才能确信做出的决定能够为现有会员提供更好的产品体验,并帮助发展新会员?按照传统的方式,Netflix 为了给会员提供更多乐趣,可以采用下面这些方式来决定如何改进产品:
- 让领导来做所有的决定。
- 聘请一些设计、产品管理、用户体验、流媒体交付和其他领域的专家,然后采纳他们最好的想法。
- 进行内部辩论,让我们最有魅力的同事的观点占据上风。
- 抄袭竞争对手。
图 2:不同的决策方式。从左上方顺时针方向:领导、内部专家、抄袭竞争对手、小组辩论
不管用上面的哪种方式,决策都是依赖于少数人的观点和看法。领导小组就几个人,小组辩论的规模也不大,Netflix 在每个需要做决策的领域也只有这么多专家,也许有几十个流媒体或相关服务可以作为我们的灵感来源。此外,这些模式并没有提供系统的方法来做决定或解决冲突的观点。
在 Netflix,我们相信有更好的方法来决定如何改善向用户提供的体验:A/B 测试。这是基于实验的方式,与由高管或专家组成的小团体参与决策不同,实验让我们所有成员都有机会通过自己的行动,就如何继续发展愉快的 Netflix 体验进行投票。
更广泛的说,A/B 测试,以及其他因果推理方法,如准实验[2],是 Netflix 使用科学方法[3]为决策提供信息的方式。我们做出假设,收集实验数据,提供证据支持或反对我们的假设,然后得出结论并产生新的假设。正如我的同事 Nirmal Govind 所解释的[4],实验在支撑科学方法的演绎(从普遍原则中得出特定结论)和归纳(从特定结果和观察中形成普遍原则)的迭代循环中发挥着关键作用。
后续文章将深入 A/B 测试的细节,以及 Netflix 如何使用测试来为决策提供信息。
References:
[1] Decision Making at Netflix: https://netflixtechblog.com/decision-making-at-netflix-33065fa06481
[2] Quasi Experimentation at Netflix: https://netflixtechblog.com/quasi-experimentation-at-netflix-566b57d2e362
[3] Scientific Method: https://en.wikipedia.org/wiki/Scientific_method
[4] A/B Testing and Beyond Improving the Netflix Streaming Experience with Experimentation and Data: https://netflixtechblog.com/a-b-testing-and-beyond-improving-the-netflix-streaming-experience-with-experimentation-and-data-5b0ae9295bdf