从BAT看企业构建大数据体系的六层级

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本文将企业大数据体系的构建分为六个层级,但并非是线性过程,每个层级之间或有基础关系,但并不是说一定要逐层构建。例如创业型公司,在缺乏数据研发实力的时候,多数会借助第三方平台进行数据上报与分析。

下面一张图,是本文的精华概括,后面一一展开与大家探讨。


一、数据基础平台
基础的数据平台建设工作,包含数据平台建设,数据规范,数据仓库、产品数据规范,产品ID,用户ID,统一SDK等。

很多公司的数据无法有效利用,就是缺乏统一规范,产品数据上报任由开发按照自己的理解和习惯上报,没有标准化的SDK和上报协议,并且数据散落在各个部门产品的服务器,无法构建结构化的数据仓库。

做数据平台的架构,很多人会理解为高大上的技术活,其实整个数据平台价值的体现,需要公司各个部门的配合,例如关键数据指标体系的建立,需要从各个部门业务指标进行提炼,并得到业务部门认可。常见的关键指标有:DAU、PCU、WAU、MAU、按天留存率(1-30日留存)、累计留存率(7日、14日、30日累计留存率),新增用户,有效新增用户,活跃转化率,付费转化率,收入指标,ARPU人均收入,渠道效果数据等。

下图是腾讯和阿里的数据平台架构


阿里大数据业务架构



阿里云梯分布式计算平台整体架构:


二、数据报表与可视化
在第一层级中,进行数据指标体系规范,统一定义,统一维度区分,就可以很方便的进行标准化可配置数据报表设计,直观的可视化输出设计,包括行为、收入、性能、质量等多种数据类别。

在PPT中以友盟、迅雷、百度、腾讯等公司的数据报表体系进行详细讲解。

腾讯数据门户


阿里数据地图


三、产品与运营分析
在建立数据平台和可视化基础上,对已有的用户行为、收入数据等进行各种分析,输出日报、周报、月报、各种专题分析报告。常见的数据分析工作如下:
1. A/B TEST进行产品分析优化;
2. 运用漏斗模型进行用户触达分析,如TIPS、广告等曝光到活跃的转化;
3. 收入效果监控与分析,包含付费转化率、渠道效果数据等;
4. 业务长期健康度分析,例如从用户流动模型、产品生命周期分析产品成长性和健康度;
5. 营销推广活动的实时反馈;


用户画像也是常见的数据分析方式,包括用户如性别、年龄、行为、收入、兴趣爱好、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等,反映用户各种特征,以达到全面的了解用户,针对性的为用户提供个性化服务的目的,通常每半年做一次用户画像的专题分析。

下图是常见的数据分析思路

常用分析工具:EXCLE,SPSS,SAS,Enterprise Miner,Clementine,STATISTICA。个人用的比较多的是:EXCEL和SPSS。

下图是SPSS常用的数据分析与挖掘方法


四、精细化运营平台
基于数据基础上搭建的精细化运营平台,主要的平台逻辑多数是进行用户细分,商品和服务细分,通过多种推荐算法的组合优化进行商品和服务的个性化推荐。另外还有针对不同产品生命周期,用户生命周期构建的产品数据运营体系。


五、数据产品
广义的数据产品非常多,例如搜索类,天气预报类等等。这里主要讲狭义的数据产品,以BAT三家公司的数据产品为例进行分享。


腾讯:广点通、信鸽
阿里:数据魔方、淘宝情报、淘宝指数、在云端
百度:百度预测、百度统计、百度指数、百度司南、百度精算

截取几张PPT如下:





六、战略分析与决策
战略分析与决策层,更多的是跟很多传统的战略分析、经营分析层面的方法论相似,最大的差异是数据来自于大数据。

有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。傅志华认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的,“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做,这样导致发现问题的效率较低。

建议是,能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”,在此基础上让人来做人类更擅长的经验分析和战略判断。

在变化极快的互联网领域,在业务的战略方向选择上,数据很难预测业务的大发展方向,如果有人说微信这个大方向是通过数据挖掘和分析研究出来,估计产品经理们会笑了。从本质上来说,数据在精细化营销和运营中能起到比较好的作用,但在产品策划、广告创意等创意性的事情上,起到的作用较小。但一旦产品创意出来,就可以通过灰度测试,数据验证效果了。




原文发布时间为:2014-07-01

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
12天前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
36 5
|
12天前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
30 3
|
12天前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
21 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
12天前
|
SQL 分布式计算 大数据
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
大数据-160 Apache Kylin 构建Cube 按照日期构建Cube 详细记录
25 2
|
12天前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
24 0
|
12天前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
13天前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
38 3
|
12天前
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
30 1
|
12天前
|
SQL 大数据 Apache
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
43 1
|
13天前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
38 1