开发者学堂课程【DevOps 日志分析实战 ：运营增长实战（三）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/736/detail/13104
运营增长实战（三）
四、模拟埋点数据的分析及可视化
以一个实际的场景为例来进行展开，该场景通过各个渠道，包括搜索引擎、跳转、用户自动搜索还有 url 的直接请求、包括爬虫相关的一些点。他们会定期的访问阿里云日志服务相关的一些请求，这些请求中大致包含几类信息，一类是设备信息，设备信息重要用来描述当前设备的状态，甚至包含设备的唯一 id 、当前访问的状态等等。还有一类是事件信息，事件信息是当访问网络页面时，可能是通过某个渠道进入的、然后又去了哪个地方，当前的时间节点如何，是否携带一些埋点相关的参数。
1.模拟埋点日志：
这条请求可以看到是一个安卓的设备，然后是通过扫码的形式访问到某一个网站（page_2），其 uid 为985912。
对于这样的场景，要先确定对应的指标是什么，以及后续要对哪些指标进行漏斗分析等等。
北极星指标简单意义上讲目标是让网站的 DAU 到年底时可以达到一个亿：
所以的分析都围绕现状进行展开，然后分析在哪一个层面上能够更好的帮助某一个产品在各个环节上优化，或者帮助提高 DAU。
补充：
“North Star Metric” 北极星指标，又叫做 “OMTM" One metric that matters,唯一重要的指标。之所以叫北极星指标，是因为这个指标一旦确立，就像北极星―样，高高闪耀在天空中，指引着全公司上上下下，向着同一个方向迈进。
查看一周的 AU 的情况，该图是配置的一张报表图，其背后是这样的一条 select：
*l select
uv,
1000000.0 as total
from
(
select
approx_distinct(uid) as uv
from
log
）
该 select 是比较简单，是通过一个子查询的形式，然后得到这一周的 uv 的情况，目标是一个亿，配置选择刻度盘，配置指标维度，如下图：
下图是以天级别的，当前于前一天 uv 的比较情况：
其中涉及到 compare 函数，compare 函数是表示当前的某一个观测指标在间隔多少秒之前的状态如何，86400表示一天，也就是当前的 uv 数量与前一天的 uv 数量的比较，最后得到的是数组，通过对数组的拆分。
2.查看近两个月的 uv 情况
代码为：
|
select
date_format(t,"%Y-%m-%d') as t,
uv
from(
select
date_trunc(‘day'._time_) as t,
approx_distinct(uid) as uv
from
log
group by
t
order by
t
）
limit 10000
把某一天的指标按照时间维度做聚合，然后做可视化：
3.两周 DAU 增长情况
蓝线表示近七天每天的 UV 情况，其值具体对应的在左 y 轴上。
黄线表示上一周（这周相同的时间点向前推7天）其 UV 的情况。
增长比例是当前这一周减去上一周除以上一周的结果的情况。
其中有一个关键函数叫 ts_compare ，该函数的意思是在学习中先得到每一天的 uv 情况，通过每一天的 uv 情况通过时间线的展开然后去得到每一天比前七天的的结果，再做一个聚合，聚合后可以得到十几天序列的数组，通过该数组的解析可以比较好的得到每一个时间点的增长比例。
4.留存分析
留存分析中比较核心的指标是七日留存分析和留存率曲线，可能还会涉及到不同留存率的留存曲线（例如省份、终端、访问配置等等）。
看到7日留存，下图所示：
该图是按照时间从小到大排序，可以看到每次维度的新用户，还有次日留存、3日留存、5日留存、和7日留存。
如何将该图处理（select 代码如下）：
先将时间转换为天，然后去找到对应的 uid，也就是每一个 uid 会对应一个天级的时间戳，将其作为一个 A 表和 B 表，关联 A 表和 B 表，关联的维度就是 uid 维度，同时要做一些拆分，该拆分就是 A 表的 z 减去 B 表的 z（相当于天级别相减，然后按照天来算），将维度聚合出来，然后相当于得到一个长的表，该长的表就是当前的某一个用户再某一天具体的留存情况。
在外围的 select 中，会得到当前的时间去比较当前表中相差一天、两天、四天、六天的日期，同时还要做一次聚合，对天级别做聚合。然后就能得到在不同时间点以及前一天、两天、四台、六天的统计值。在其中会再添加一层子查询，主要目的是得到天级别的 uv ，独立的 uid 的数量，然后按照天级别将其聚合后做一次排序（做 x 表），x 表与 uv （不同时间点聚合的表，作为外表）在时间上做聚合、做一次关联，关联后大体上可以得到表。该表的第一个关键字段是当前的日期，第二个字段是新用户的数量（对天做聚合，每天的独立的数量），第三个字段是做一个比例（当前 y 表中第二天的数量以及 x 表中当前的数量，因为要做一个比例，比例需要当前的数量当前一天以后还能保存多少数据，同理，可以算出三日留存等）
5.留存率曲线
对于留存率曲线，与七日留存率是一样的，只需要拿到天级别数列后就可以对天级别数据操作，即可看到其在时间维度上，比如近七天每天的留存情况。
该图代表按照时间维度展开，每一天留存率的曲线，最开始可能注册了100个用户，随时间的推移只有15个左右。
不同省份的留存率曲线
该图中能够通过 IP 字段大致的区分出不同的 IP 来自于哪一个省份，通过不同的省份做聚合就能知道在时间维度上不同省份的留存率曲线。
其 select 代码为：
在其中通过 ip_to_province 这个函数把 IP 解析成省市，同时在聚合时会多一个字段，将该字段放在最外层，就可以拿到在时间维度、在不同省份维度上留存率的曲线。
在其中可能会涉及几个高频的算子：
ip_to_province //内部开发出的
compare
date_trunc
//把一个时间戳转换成对应的时间形式，同时可以进行 date_diff 的
//操作
date_diff//给定的两个时间点之间相差的秒的数量或者相差的天的数//量
min_by//在聚合数据中找到最小对应的值
max_by
ts_compare
6.移动端各按钮的漏斗计算
漏斗分析是一个比较关键的指标，用户从最开始解除到产品到最后用户流失，其在每一层的流失率的分析。
最开始可能是100%，通过几层的转换之后变为50%，最后降到1%，甚至0%，如下图：
如何做出上图：
最开始时的 event click 表示一开始的对象可能注册会涉及到一系列的按钮。同时再分析移动端，先从数据中过滤 IOS 和 安卓移动的场景，再找到点击事业（因为注册都属于点击事件），将该事件过滤出来，同时过滤出在这条链路上的所有 button 按钮。通过前面的操作能够比较清楚的得到所有注册链路上的 button 的点击事件。
将数据的链路抽象成一系列的操作，该操作可能具有前后顺序，例如该示例是从注册到19、18然后一直到11，这里会根据字段进行严格的标记，在序列中的位置做一次排序和聚合，得到所有用户在不同的阶段的数量，因此可以得到上图。
select 代码：
7.浏览事件分析
事件分析中更多的是浏览事件，不同平台的浏览事件等等，以及不同的来源，包括社交媒体、搜索引擎、搜索引擎中的关键词等等，以及通过哪些渠道的用户最多，可能是需要重点关注的渠道。
注册事件分析及扫码事件
对应的实际场景：
这里的数据整体上会包含上面介绍的字段
可以将上面分析的图标放在一张 dashboard 中，然后可以定义出最核心的北极星指标，所有的数据服务都可以向提高 DAU 的指标前进。可以看到每周的 uv 情况以及最近两周的 uv 情况：
同时还能够知道整体访问数据的来源，可能大多是呈现在某一区域的，可以通过地图查看：
还可以通过分析不同的移动端，包括 pc 端、移动端等等，然后不同渠道的点击事件对应的漏斗模型，可以分析出哪个环节是用户丢失较大的地方，哪些是较好的地方，以及对应的七日留存率和留存率的曲线。包含浏览事件、注册事件、扫码事件的一些分析结果。
这样一份简单报表就可做出，已经将数据整合到模拟器中，相关的数据可以实时的产生，用户不需要太复杂也可以玩转该场景。
查看原始数据：
这是模拟器后台生成的数据，可以快速的进行一些检索和聚合。
