开发者学堂课程【互联网技术实战营·数据智能专题：《使用阿里云神策联合解决方案搭建大数据运营平台》】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/915/detail/14472
《使用阿里云神策联合解决方案搭建大数据运营平台》
目录：
一、搭建数据化运营平台的挑战
二、数据分成、数据湖架构
一、搭建数据化运营平台的挑战
主要针对电商化水平较高的人群，比如说互联网行业，游戏行业，基本上以线上的这种行为数据为主。
这类的这种线上运营，特点是：有比较多的这种运营的团队设计能力，这些业务团队要求是比较高的，不管是实时的要求，还是体系化的分析要求，包括指标体系，等这类话题。
同时，它的主要都是线上的用户行为数据，线下业务数据相对来说比较少。
如果是从一到一去搭建这个平台，相对时间比较长，对这个大数据团队要求较多，面临这样的需求及挑战。
业务的挑战:需要有体系化的建设、提供面向业务人员,简单,易用的数据产品、满足业务分析的多样化和灵活性
技术的挑战:从0到1建设数仓时间长,见效慢、重数据开发,轻数据开发,轻数据赋能,大数据基础设施无法灵活弹性;数据治理工作纷繁复杂。
数据化运营平台的路径:
大数据基础设施:高可用、高性能,存算分离,弹性伸缩,结构化
数据处理流程:采集和同步,数据处理加工,计算引擎能力
数据应用:自助分析平台,指标体系,用户标签平台,实时营销
融合数仓建设:数仓建模,数据质量,数据地图
大数据基础设施到这个构建数字这个管道，到计算引擎，将这些能力以及我们面向业务的性质应用，也包括一些数据治理的能力，对于大数据的部门来说，在大数据设施这方面经常面临一个问题，在原来这种线下建设的场景下，自建大数据平台的话，经常是面临一些问题，比如说计算没法弹性存储，系统运维工作非常繁琐。
现这个趋势越来越明显，通过这个云到基础设施，大学基础设施，可以比较好地解决这块的问题。
另外的问题是：行为数据媒体也有线下的业务数据，行为数据跟业务数据怎么去做，打通也是大四基础设施需要考虑一些问题。
实时的要求非常高，对于构建这种数据管道的实时性，海量的数据处理能力，实时的计算能力也要求非常高。
第三个面向业务人员，面向产品，运营人员，产品需要做数据驱动的产品迭代优化，要面向用户的生命周期做一些精细化运营，这对分析，数据的应用提出了更高要求，不是传统结果为主，报表能够解决的。需要有更丰富的接触运动，就是数据建设。
数据平台建设的挑战就是数据的治理和业务数据。面向这几方面的联合解决方案的话主要包括：
数据化运营平台解决办法:云原生态+全域数据集成+成熟应用
最快会借助所在电商业务线上的技术一块，积累非常深的。可以提供全面的、线上的这种行为。可以覆盖小程序等等，同时对于业务数据的利用，可以跟这个相关的关联。比如：分析模型，世界面向业务过程的分析，分析用户的性能。
面向运营人员：要做精细化所有用户，打标签。提供业务人员去制定这样的能力。
分析的运用：用这方面去生成一些新的指标体系，要围绕建设生命周期。
技术架构：
采集主要分为两块：行为数据是用 SDK 去做采集，业务数据用品牌去做。可以从:业务性能、分析应用、数据、基础设施入手。
技术架构:采集层、接入层、储蓄层、计算层、应用层
数据采集和存储计算，主要是用体系编码；用大数据平台来提供数据的存储和计算。
数据接入层是：做统一的数据缓存以及分发，存储。针对线上数据和业务数据去做一个冷热分层。
对于一些热数据或者经常发生变化的数据，比如：用户数据，产品数据等。日志这种追加为体的非变化数据是汇合存在发展之上。可使用不同引擎来对这些数据进行计算。
EMR 搭建数字化运营平台基础:集群规模动态扩缩容、存储计算分离
二、数据分成、数据湖架构
本地 HDFS+JindoFS 存储弹性、冷热分层、性价比高
JindoFS block 模式+OSS 存储弹性:提供可靠性保证、储存弹性、独立元数据服务,支持百亿级别文件元数据低延迟访问
储存分层:热数据存在本地 HDFS,一备份到 OSS,降低成本
数据处理流程:行为+业务数据采集,统一建模、ID 打通
数据应用:自助分析平台
预置场景库,一键自动生成内置看板
十大分析模型,多维度,多指标的交叉分析能力
自定义用户分群,用户明细追寻、可查
快速建立高效的数据指标体系
场景:一键搭建指标体系,完成分析及运营框架
场景:数据驱动产品优化迭代
明确目标，梳理流程，定位问题，优化选代
数据应用：用户标签管理与画像
分析用户流失群体画像特征，调整获客策略，降低流量折损率
做运营以后对接很多渠道会很复杂，要跟踪反馈等。
提供了智能运营一个工具，可以方便运营去使用。
智能运营：策略，设置触发条件，筛选受众用户等
举个例：
可以根据用户不同的情况，给客户不同的策略，同时也可以选择复杂的时机，以及复杂的渠道。比如说：围绕用户的激活转化，复购等，激活这个阶段。
比如：用户下载 APP 注册成为用户之后，要给新用户的关怀如：新人礼包。之后了解用户对产品的种草情况或者刺激用户的跃情况。根据用户行为进行分配。
比如：通过目标的了解，可以查看加购物车的品类，做相同匹配的促销。同时，可以做同类商品的相关推荐。
对于流失用户，比如：看三十日流程的情况，对流失客户，可以相应地在合适的时机去做复杂的推广，用户可能去挽回。整个流程，都能够通过这个工具，能够方便地去做一些活动。从：激活，转化，复购，流失召回中取得
基于 DLF 的数据共享
数据都是在微信上面，通过元数据管理，找需要的原数据，如何系统的数据可直接去找上面数据。在需要用到数据的时候，可以方便的获取这些数据，并且把这些数据跟高价值的数据相结合，这就是数据共享方案。
