《使用阿里云神策联合解决方案搭建大数据运营平台》| 学习笔记

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 快速学习《使用阿里云神策联合解决方案搭建大数据运营平台》

开发者学堂课程【互联网技术实战营·数据智能专题《使用阿里云神策联合解决方案搭建大数据运营平台》】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/915/detail/14472


《使用阿里云神策联合解决方案搭建大数据运营平台》


目录:

一、搭建数据化运营平台的挑战

二、数据分成、数据湖架构

 

一、搭建数据化运营平台的挑战

主要针对电商化水平较高的人群,比如说互联网行业,游戏行业,基本上以线上的这种行为数据为主。

这类的这种线上运营,特点是:有比较多的这种运营的团队设计能力,这些业务团队要求是比较高的,不管是实时的要求,还是体系化的分析要求,包括指标体系,等这类话题。

同时,它的主要都是线上的用户行为数据,线下业务数据相对来说比较少。

如果是从一到一去搭建这个平台,相对时间比较长,对这个大数据团队要求较多,面临这样的需求及挑战。

业务的挑战:需要有体系化的建设提供面向业务人员,简单,易用的数据产品满足业务分析的多样化和灵活性

技术的挑战:从0到1建设数仓时间长,见效慢重数据开发,轻数据开发,轻数据赋能,大数据基础设施无法灵活弹性;数据治理工作纷繁复杂。

数据化运营平台的路径:

大数据基础设施:高可用高性能,存算分离,弹性伸缩,结构化

数据处理流程:采集和同步,数据处理加工,计算引擎能力

数据应用:自助分析平台,指标体系,用户标签平台,实时营销

融合数仓建设:数仓建模,数据质量,数据地图

大数据基础设施到这个构建数字这个管道,到计算引擎,将这些能力以及我们面向业务的性质应用,也包括一些数据治理的能力,对于大数据的部门来说,在大数据设施这方面经常面临一个问题,在原来这种线下建设的场景下,自建大数据平台的话,经常是面临一些问题,比如说计算没法弹性存储,系统运维工作非常繁琐。

现这个趋势越来越明显,通过这个云到基础设施,大学基础设施,可以比较好地解决这块的问题。

另外的问题是:行为数据媒体也有线下的业务数据,行为数据跟业务数据怎么去做,打通也是大四基础设施需要考虑一些问题。

实时的要求非常高,对于构建这种数据管道的实时性,海量的数据处理能力,实时的计算能力也要求非常高。

第三个面向业务人员,面向产品,运营人员,产品需要做数据驱动的产品迭代优化,要面向用户的生命周期做一些精细化运营,这对分析,数据的应用提出了更高要求,不是传统结果为主,报表能够解决的。需要有更丰富的接触运动,就是数据建设。

数据平台建设的挑战就是数据的治理和业务数据。面向这几方面的联合解决方案的话主要包括:

数据化运营平台解决办法:云原生态+全域数据集成+成熟应用

最快会借助所在电商业务线上的技术一块,积累非常深的。可以提供全面的、线上的这种行为。可以覆盖小程序等等,同时对于业务数据的利用,可以跟这个相关的关联。比如:分析模型,世界面向业务过程的分析,分析用户的性能。

面向运营人员:要做精细化所有用户,打标签。提供业务人员去制定这样的能力。

分析的运用:用这方面去生成一些新的指标体系,要围绕建设生命周期。

技术架构:

采集主要分为两块:行为数据是用  SDK  去做采集,业务数据用品牌去做。可以从:业务性能、分析应用、数据基础设施入手。

技术架构:采集层接入层储蓄层计算层应用层

数据采集和存储计算,主要是用体系编码;用大数据平台来提供数据的存储和计算。

数据接入层是:做统一的数据缓存以及分发,存储。针对线上数据和业务数据去做一个冷热分层。

对于一些热数据或者经常发生变化的数据,比如:用户数据,产品数据等。日志这种追加为体的非变化数据是汇合存在发展之上。可使用不同引擎来对这些数据进行计算。

EMR  搭建数字化运营平台基础:集群规模动态扩缩容存储计算分离

 

二、数据分成、数据湖架构

本地  HDFS+JindoFS 存储弹性冷热分层性价比高

JindoFS block 模式+OSS 存储弹性:提供可靠性保证储存弹性独立元数据服务,支持百亿级别文件元数据低延迟访问

储存分层:热数据存在本地 HDFS,一备份到 OSS,降低成本

数据处理流程:行为+业务数据采集,统一建模ID 打通

数据应用:自助分析平台

预置场景库,一键自动生成内置看板

十大分析模型,多维度,多指标的交叉分析能力

自定义用户分群,用户明细追寻可查

快速建立高效的数据指标体系

场景:一键搭建指标体系,完成分析及运营框架

场景:数据驱动产品优化迭代
明确目标,梳理流程,定位问题,优化选代
数据应用:用户标签管理与画像
分析用户流失群体画像特征,调整获客策略,降低流量折损率

做运营以后对接很多渠道会很复杂,要跟踪反馈等。

提供了智能运营一个工具,可以方便运营去使用。
智能运营:策略,设置触发条件,筛选受众用户等

举个例:

可以根据用户不同的情况,给客户不同的策略,同时也可以选择复杂的时机,以及复杂的渠道。比如说:围绕用户的激活转化,复购等,激活这个阶段。

比如:用户下载 APP 注册成为用户之后,要给新用户的关怀如:新人礼包。之后了解用户对产品的种草情况或者刺激用户的跃情况。根据用户行为进行分配。

比如:通过目标的了解,可以查看加购物车的品类,做相同匹配的促销。同时,可以做同类商品的相关推荐。

对于流失用户,比如:看三十日流程的情况,对流失客户,可以相应地在合适的时机去做复杂的推广,用户可能去挽回。整个流程,都能够通过这个工具,能够方便地去做一些活动。从:激活,转化,复购,流失召回中取得
基于 DLF 的数据共享

数据都是在微信上面,通过元数据管理,找需要的原数据,如何系统的数据可直接去找上面数据。在需要用到数据的时候,可以方便的获取这些数据,并且把这些数据跟高价值的数据相结合,这就是数据共享方案。

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
58 0
|
3月前
|
大数据 Linux 网络安全
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
170 0
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
1536 0
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
3月前
|
Java 数据库连接 数据库
Java大数据开发工程师__Spring学习笔记(待更新)
Java大数据开发工程师__Spring学习笔记(待更新)
45 1
|
3月前
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
121 1
|
3月前
|
大数据 Linux 开发工具
大数据开发工程师基本功修炼之Linux学习笔记(三)
大数据开发工程师基本功修炼之Linux学习笔记(三)
94 0
|
3月前
|
大数据 Java Linux
大数据开发工程师基本功修炼之Linux学习笔记(二)
大数据开发工程师基本功修炼之Linux学习笔记(二)
102 0
|
9月前
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
|
canal 弹性计算 分布式计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
快速学习如何将 PolarDB-X 与大数据等系统互通
237 0
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
|
存储 分布式计算 DataWorks
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)
快速学习持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护
253 0
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)

热门文章

最新文章