MaxCompute 持续定义 SaaS 模式云数据仓库——云数据仓库+数据银行 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库——云数据仓库+数据银行

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute持续定义SaaS模式云数据仓库——云数据仓库+数据银行】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1033


MaxCompute  持续定义  SaaS  模式云数据仓库——云数据仓库+数据银行


内容简介:

一、云数据仓库

二、数据银行

三、 MaxCompute  +数据银行

四、案例介绍

一、云数据仓库

(一)MaxCompute: SaaS  模式企业级云数据仓库

1.应用场景

■ 广告场景——用户标签计算、分析

■ 业务运营场景——业务指标计算、查询

■ 各行业搭建数据仓库

■ 云上弹性扩展大数据计算和存储

2.产品优势

■ 云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求。

■ 简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用。

■ 企业级平台服务:支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成

■ 安全:多租户环境下安全控制能力强。

■ 大规模集群性能强、全链路稳定性高,阿里巴巴双11场景验证。

3.推荐组合

■ BI分析场景  -MaxCompute +Hologres + Flink+ DataWorks +Quick BI

■ 机器学习场景  -MaxCompute+ PAI+DataWorks

(二)MaxCompute  算力资源产品解决方案

1.包年包月

满足常规需求稳定财务支出

支持作业优先级,保限关键任务稳定产出支持在储与计算资源包购买

2.按需使用

无服务器架构,超大规模的存储和计算扩展能力

自动匹配业务需求,完美适配业务的高速变化

不使用不付费

3.多计算资源打通

融合打通包年包月与按需使用的弹性资源,只需

联合开通,即可实现更优的成本与性能平衡的资

源解决方案

4.抢占空闲资源

非预留计算资源,抢占并使用服务空闲计算资源。价格较包年包月标准计算资源下降74%。

(三)安全能力重大升级,持续保护企业云上安全解决方案

构建全面、多层次的安全管理能力,持续保护云上数据及服务安全。

安全事件频发,云上大数据服务,如何保网企业教据和服务安全

● 数据泄露

● 恶意删库

● 安全攻击

● 业务中断

关键发布

● 数据安全加密

● 持续备份恢复

● 实时审计日志

● 跨地域的容灾备份

(四)飞天大数据平台解决方案

● 方案说明:适用于电商、游戏、社交等互联网行业数据化运营,如智能推荐、日志采集分析、用户画像、数据治理、 业务大屏、搜索等场景;

● 方案优势:阿里巴巴最佳实践的大数据平台,1) 技术领先性; 2) 降本提效; 3)高附加值业务收益;

● 涉及产品:日志服务  SLS  .数据传输DTS. DataHub. 实时计算  Flink、交互式分析、云数仓  MaxCompute、数据治理  DataWorks、Quick BI  报表、  DataV大屏、ES  搜索、机器学习  PAI。


二、数据银行

(一)什么是数据银行

目的:通过数据融合、共享、交易,实现数据价值变现最大化。

定义:数据银行旨在通过聚合内外部数据,融合共享,实现盘活资产运营、变现数据交易、释放数据价值,打造面向企事业产业链、面向生态链、面向社会的数据资产变现交易平台。

服务范围:数据交易(提供数据资产陈列、API传输及数据交易服务,拉通供需,实现数据价值变现)、数据增值(通过内外部数据融合及深度挖掘,提升数据内涵,实现数据增值)。

特点:融合数据,交易变现,深度挖掘,最大化释放数据价值并赋能

产业发展:

● 盘活数据资产:融合企业内部数据,引入外部高价值数据,丰富数据价值及内涵,应用数据资产交易能力,实现数据价值变现;

● 数据价值提升:依托数据银行提供算法及建模能力,持续挖掘并沉淀数据标签,提升数据资产价值;

● 产业发展赋能:数据银行提供多维度智能分析体系,赋能客户轻松应用数据可视化报表,智能决策,智能营销及智能运营等多维度智能应用,支持业务决策数字化;

● 三大数据服务: 储存(云存储)、储备(云备份)、储蓄(云订阅)。

(二)行业应用架构-友盟


三、 MaxCompute  +数据银行

本章节介绍云数据仓库  MaxCompute  +数据银行(友盟)实践

友盟数据银行-数据开放平台  DOP

1.主题数据包介绍

主题数据包及数据来源

● 统计分析:  U-App AI/Pro (移动统 计) U-Web (网站统计) U-Mini Program (小程序统计)

● 开发省工具  :U-Push/ Pro (消息推送)

● 营销增长:  U-AppTrack/ Pro移动广告监测)

我们如何共享、转让、 公开披您以及您最终用户的个人信息

● 共享:承担保密义务,不会为满足第三方的营的或非法日的而向其出告或出相它的信息,会与这些合作伙件合作以多种形式  U-DP  数整中台处理加工后的脱本数据用于包括优化广告投放和院升营销效果等商业化使用。

● 转让:不会向任何第三方转让意以及您最终用户的个人信息

● 公开披露:(1)获得您或您最终用户明确同意; (2) 基于法律的披露:在法律、法律程序、诉讼或政府主管部门强制性要求的情况下,我们可能会公开披露您或您最终用户的个人信息。(3) 在紧急情况下,经合理判断是为了保护我们、我们的客户、最终用户或其他人的重要合法权益。

2.友盟数据银行-数据开放平台  DOP  已实现产品功能和价值"一键通"模式

● 每日高性能采集加工海量数据,自动生产  APP/WEB/  小程序/广告  /PUSH  主题据包

● 与  Maxcompute(DataWorks)  云数据仓库无缝对接,一键订阅数据

● 预置分析模板和拖拽式自助分析能力,业务人员无需麻烦开发跑数即可完成分析

3.友盟数据银行-数据开放平台  DOP  通过和  MaxCompute  共创带来的客户体验提升

● 开放多端、多主题的的明细数据与指标数据,为开发者构建私域数据体系

● 指标数据开放,将友盟+9年行业经验沉淀回馈于开发者

①实时指标大屏展示

②多维指标分析监控

● 明细数据开放,助力开发者进行与业务数据的数据融合自助分析

①实时渠道  ROI  分析

②投放使用-转化大漏斗

③用户分层运营

④实时推荐服务

4.友盟数据银行-数据开放平台  DOP  支持云上数仓无缝链接,为开发者提供一键式数据模型体系开放的体验

开发者云上数仓:

● 高性价比交互式查询服务,兼容接入异构数据源进行询和分析,无缝链接,一键订阅,支持订阅数据数据写入开发者云上数仓。

● 为您提供快速、完全托管的  PB  级数据仓库解决方案,经济并高效的批量分析海量数据。

四、案例介绍

本章节介绍  MaxCompute +  数据银行的应用案例及分析

MaxCompute +  友盟数据银行

案例1:本地生活行业客户,业务数据化+数据可视化背景

背景:

客户:本地生活类,智慧社区服务平台

痛点:数据化运营程度低,数据分散,业务人员的数据需求实现周期长。

实施方案:

1.规范化的多端数据采集

基于业务需求梳理进行埋点方案设计,APP. H5.  小程序等多端  SDK  采集。

2.实时数据和离线数据的订阅返还

经过友盟统-ETL服务的采集数据分别投递至客户  SLS  (实时)、DLA   (离线)。

3.数据报表设计与开发

离线数据自动联通  QBI  ,除4个预置看版外,根据具体业务需求搭建业务分析监测。

方案结果:

业务数据化:多端采集行为数据纳入数仓体系建设

数据可视化:日常数据监测看版,让业务人员快速看到产品迭代、运营动作的效果。

MaxCompute+  友盟数据银行

案例2:游戏行业客户,多源数据融合

背景:

客户:独立游戏工作室

痛点: APP  行为数据与后台业务数据割裂

实施方案:

1.数据采集

使用游戏行业埋点方案进行  APP  端数据采集,获取多种用户识别  ID

2数据迁移

存入其他云厂商的用户付费、广告收入等数据迁移入阿里云

3.数据融合

采集行为数据键投递至阿里云数据库,通过用户唯识别将数据融合

方案结果:

数据融合分析:

结合用户留存行为和收入数据,测算用户生命周期价值,判新渠道回本周期渠道投放优选。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
500 6
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
293 2
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
459 2
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
355 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
295 0
|
10月前
|
存储 人工智能 分布式计算
阿里云云数据仓库:助力企业构建智能数据基石的云端利器 。阿里云云数据仓库优势与选型指南
阿里云数据仓库体系基于MaxCompute、AnalyticDB等核心产品,提供弹性敏捷的PB级数据处理能力,支持实时分析与智能决策。其六大优势包括无限弹性伸缩、极致性能表现、智能成本优化、全栈安全体系、生态无缝对接和AI增强分析,助力企业在数字经济时代应对数据爆发式增长的挑战。灵活透明的定价体系和行业实践案例展示了其在证券、新零售、物联网等领域的成功应用,为企业构建智能数据基座提供了清晰路径。
407 6
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
187 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。