基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信埋点技术)
数据质量决定运营分析的质量
在上文中，我们介绍了GrowthHacking的整体架构，其中数据采集是整个数据分析的基础，只有有了数据，才能进行有价值的分析；只有高质量的数据，才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。
在实际生产中，我们常常面临数据采集的痛点：
- 数据分散在各处，有服务器日志，有前端日志，有APP日志。
- 各种端的日志，采集方式迥异，要投入大量研发资源，才能覆盖所有的平台。
- 收集、处理、清洗、标注数据，需要投入巨大的精力，80%的精力浪费在了这些前置步骤上。
- 不同端的数据格式千奇百怪，缺乏一种统一的数据规范。
从分析需求推演数据源
通常，我们要分析拉新的的转化率，产品的留存率，以及用户推荐和最终付费相关的所有指标，每种类型的指标对应的渠道如下图所示。
以拉新为例， 通常我们可选择的渠道有社交媒体（微信、微博）， 线上推送（邮件、短信），内容营销（博客、微信公众号），广告（广告联盟），线下推广（二维码）。每一种渠道的表现如何，需要用数据证明。每一种渠道的数据采集方式各不相同。接下来将逐个介绍。
埋点规范
杂乱无章的数据，价值等于0！如果各个渠道的数据各不相同，那么我们在分析时，就有很大一部分精力浪费在整理数据上。为了保证数据的质量，我们需要制定出一份埋点的协议，保证在采集数据时，能够采集到完整的信息。
在日志采集中，一般包含两部分信息：事件和属性。下文以Web埋点为例，详细介绍web埋点包含的内容。
Web埋点
web埋点可用于在博客前端追踪用户的访问情况。
Web埋点规范
-
属性信息：
-
设备信息：
- DeviceId：设备标识。 在首次加载js时，在cookie中添加唯一id。
- 屏幕长宽
- 设备类别。
-
用户信息：
- uid：用户id，用户唯一标识。
- session id：会话id，一次会话定义为连续的操作。
- 首次登陆时间。
- 会话开始时间。
-
软件信息：
- 语言
- os
- user agent
- 网站title
- 网站host
- 网站网址
-
Web埋点技术：
日志服务提供了Web Tracking技术，可以直接在网页上嵌入一个一个透明图片，当网页发生曝光时，会自动发送日志到日志服务。
埋点样例：
Web Tracking 本质上是一个http GET请求，不仅可以用来采集曝光时间，还可以用来采集一些事件信息。通过在前端嵌入js sdk的方式，通过js采集用户的行为动作，并且通过js sdk发送到日志服务。
嵌入js sdk的样例：
<script type="text/javascript" src="loghub-tracking.js" async></script>采集事件样例：
var logger = new window.Tracker('${host}','${project}','${logstore}');
logger.push('customer', 'zhangsan');
logger.push('product', 'iphone 6s');
logger.push('price', 5500);
logger.logger(); //发送日志
logger.push('customer', 'lisi');
logger.push('product', 'ipod');
logger.push('price', 3000);
logger.logger();iOS埋点
开发者可在iOS应用中，嵌入日志服务的iOS SDK，自由灵活的采集所需要的事件日志， SDK分为Swift和Objective-C版本。
Android埋点
Android SDK 类似于iOS SDK ，可以嵌入Android APP中，采集事件信息。
小程序埋点
在小程序中，可以参考Web的采集方式，嵌入js sdk，通过js事件采集内容，并且通过js sdk把数据发送到日志服务。
<script type="text/javascript" src="loghub-tracking.js" async></script>邮件打开率和转化率埋点
邮件打开率
参考web tracking技术，在邮件的html内容中，添加一个img标签,该img标签是一个1X1的空白图片，用户看不到该图片。当邮件被打开时，会自动发送一条日志到日志服务：
<img src="https://yunlei-statics.cn-hangzhou.log.aliyuncs.com/logstores/blog-tracking/track_ua.gif?APIVersion=0.6.0&title=${邮件标题}&src=yunqi&author=${author})">当日志采集到日志服务端后，可以参考本系列的分析文章，进行分析。
邮件转化率
运营同学可能在邮件中嵌入了一些链接，邀请用户注册、登录、访问某个功能。为了追踪用户是否打开了这个链接，我们需要在web tracking上封装一层。把真实的链接B封装起来，先跳转到A，在A记录下日志后，再跳转到真实地址B。
例如一下案例：
- 在邮件中，我们需要跳转到https://promotion.aliyun.com/ntms/act/logdoclist.html。
- 把上述链接url encode编码：https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html。
- 通过中间服务器跳转，把上述编码的url，作为redirect参数传递:
http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html - 在中间服务器上，调用web tracking，记录日志到日志服务，同时返回302跳转到真实的链接。
通过以上方式记录的跳转日志，可以分析营销邮件的转化率。
短信营销埋点
短信营销类似于邮件营销，在短信中，嵌入链接，追踪链接的打开率。短信相比于邮件特殊的地方在于，短信有字数限制，因此需要在短信中使用短域名，那么整体架构变成了这样：
在这个方案中，真实的链接经过三次跳转，第一次跳转到短域名服务器，第二次跳转到中间服务器，在中间服务器上记录日志，第三次跳转到真实的目标地址。
二维码扫描率追踪
二维码是线下营销的利器，通过扫描二维码可以快速转化。二维码本质上是一串文字的编码，通常是一个url，因此我们可以采用类似邮件追踪的办法，把真实的url进行编码，经过中间服务器的跳转，记录下来二维码的扫描次数。
中间链接http://47.96.36.117/go.php?redirect=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html生成的二维码：
真实链接生成的二维码：
上述两个二维码的目标地址是一致的，但第一个二维码给我们机会，能够记录下来用户扫码的记录，无疑可以帮助我们判断运营活动的效果。
总结
本文介绍了常见的渠道的埋点技术，每一种渠道的数据分析，请关注本系列文章。
