背景
在本次案例研究中,我们将为教育平台 “ 不吹牛分析网 ” 分析 A/B 测试的结果,以下是该公司网站的客户漏斗模型:浏览主页 > 浏览课程概述页面(课程首页) > 注册课程 > 付费并完成课程
越深入漏斗模型,不吹牛分析网就会流失越多的用户(正常现象),能进入最后阶段的用户寥寥无几。为了提高参与度,提高每个阶段之间的转化率,z哥试着做出一些改动,并对改动进行了 A/B 测试,我们将帮z哥分析相关测试结果,并根据结果建议是否该实现页面改版。
因为利用 Python 进行 A/B 测试在每个数据集上的使用大同小异,所以我们这里只展示课程首页的A/B测试过程,其余页面的数据集会一并提供给大家作为练习。
Python实战
数据读入
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns plt.rc('font',**{'family':'Microsoft YaHei, SimHei'}) # 设置中文字体的支持 # 实现 notebook 的多行输出 from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity ='all' #默认为'last' course = pd.read_csv('course_page_actions.csv') course.info(); course.sample(5)
参数说明:
- timestamp:浏览时间
- id:用户 id
- group:用户所属组别
- action:用户行为,view--仅浏览;enroll--浏览并注册
- duration:浏览界面时长(浏览越久,可能越感兴趣,就越有可能注册)
注册率分析
点击率 (CTR: click through rate)通常是点击数与浏览数的比例。因为网站页面会使用 cookies,所以我们可以确认单独用户,确保不重复统计同一个用户的点击率。为了进行该实验,我们对点击率作出如下定义:CTR: 单独用户点击数 / 单独用户浏览数,这一需要注意的点可以使用 pandas 中的 nunique() 函数来快捷完成
同理,实验组的计算方式相同,结果分析如下:
根据已有数据,我们通常会猜测会不会是新界面更加能够吸引用户停留并浏览,从而达到用户浏览时间越长,就越有可能注册课程