MaxCompute 持续定义 SaaS 模式云数据仓库——云数据仓库+数据银行 | 学习笔记

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
DataWorks Serverless资源组免费试用套餐,300CU*H 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库——云数据仓库+数据银行

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute持续定义SaaS模式云数据仓库——云数据仓库+数据银行】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1033


MaxCompute  持续定义  SaaS  模式云数据仓库——云数据仓库+数据银行


内容简介:

一、云数据仓库

二、数据银行

三、 MaxCompute  +数据银行

四、案例介绍

一、云数据仓库

(一)MaxCompute: SaaS  模式企业级云数据仓库

1.应用场景

■ 广告场景——用户标签计算、分析

■ 业务运营场景——业务指标计算、查询

■ 各行业搭建数据仓库

■ 云上弹性扩展大数据计算和存储

2.产品优势

■ 云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求。

■ 简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用。

■ 企业级平台服务:支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成

■ 安全:多租户环境下安全控制能力强。

■ 大规模集群性能强、全链路稳定性高,阿里巴巴双11场景验证。

3.推荐组合

■ BI分析场景  -MaxCompute +Hologres + Flink+ DataWorks +Quick BI

■ 机器学习场景  -MaxCompute+ PAI+DataWorks

(二)MaxCompute  算力资源产品解决方案

1.包年包月

满足常规需求稳定财务支出

支持作业优先级,保限关键任务稳定产出支持在储与计算资源包购买

2.按需使用

无服务器架构,超大规模的存储和计算扩展能力

自动匹配业务需求,完美适配业务的高速变化

不使用不付费

3.多计算资源打通

融合打通包年包月与按需使用的弹性资源,只需

联合开通,即可实现更优的成本与性能平衡的资

源解决方案

4.抢占空闲资源

非预留计算资源,抢占并使用服务空闲计算资源。价格较包年包月标准计算资源下降74%。

(三)安全能力重大升级,持续保护企业云上安全解决方案

构建全面、多层次的安全管理能力,持续保护云上数据及服务安全。

安全事件频发,云上大数据服务,如何保网企业教据和服务安全

● 数据泄露

● 恶意删库

● 安全攻击

● 业务中断

关键发布

● 数据安全加密

● 持续备份恢复

● 实时审计日志

● 跨地域的容灾备份

(四)飞天大数据平台解决方案

● 方案说明:适用于电商、游戏、社交等互联网行业数据化运营,如智能推荐、日志采集分析、用户画像、数据治理、 业务大屏、搜索等场景;

● 方案优势:阿里巴巴最佳实践的大数据平台,1) 技术领先性; 2) 降本提效; 3)高附加值业务收益;

● 涉及产品:日志服务  SLS  .数据传输DTS. DataHub. 实时计算  Flink、交互式分析、云数仓  MaxCompute、数据治理  DataWorks、Quick BI  报表、  DataV大屏、ES  搜索、机器学习  PAI。


二、数据银行

(一)什么是数据银行

目的:通过数据融合、共享、交易,实现数据价值变现最大化。

定义:数据银行旨在通过聚合内外部数据,融合共享,实现盘活资产运营、变现数据交易、释放数据价值,打造面向企事业产业链、面向生态链、面向社会的数据资产变现交易平台。

服务范围:数据交易(提供数据资产陈列、API传输及数据交易服务,拉通供需,实现数据价值变现)、数据增值(通过内外部数据融合及深度挖掘,提升数据内涵,实现数据增值)。

特点:融合数据,交易变现,深度挖掘,最大化释放数据价值并赋能

产业发展:

● 盘活数据资产:融合企业内部数据,引入外部高价值数据,丰富数据价值及内涵,应用数据资产交易能力,实现数据价值变现;

● 数据价值提升:依托数据银行提供算法及建模能力,持续挖掘并沉淀数据标签,提升数据资产价值;

● 产业发展赋能:数据银行提供多维度智能分析体系,赋能客户轻松应用数据可视化报表,智能决策,智能营销及智能运营等多维度智能应用,支持业务决策数字化;

● 三大数据服务: 储存(云存储)、储备(云备份)、储蓄(云订阅)。

(二)行业应用架构-友盟


三、 MaxCompute  +数据银行

本章节介绍云数据仓库  MaxCompute  +数据银行(友盟)实践

友盟数据银行-数据开放平台  DOP

1.主题数据包介绍

主题数据包及数据来源

● 统计分析:  U-App AI/Pro (移动统 计) U-Web (网站统计) U-Mini Program (小程序统计)

● 开发省工具  :U-Push/ Pro (消息推送)

● 营销增长:  U-AppTrack/ Pro移动广告监测)

我们如何共享、转让、 公开披您以及您最终用户的个人信息

● 共享:承担保密义务,不会为满足第三方的营的或非法日的而向其出告或出相它的信息,会与这些合作伙件合作以多种形式  U-DP  数整中台处理加工后的脱本数据用于包括优化广告投放和院升营销效果等商业化使用。

● 转让:不会向任何第三方转让意以及您最终用户的个人信息

● 公开披露:(1)获得您或您最终用户明确同意; (2) 基于法律的披露:在法律、法律程序、诉讼或政府主管部门强制性要求的情况下,我们可能会公开披露您或您最终用户的个人信息。(3) 在紧急情况下,经合理判断是为了保护我们、我们的客户、最终用户或其他人的重要合法权益。

2.友盟数据银行-数据开放平台  DOP  已实现产品功能和价值"一键通"模式

● 每日高性能采集加工海量数据,自动生产  APP/WEB/  小程序/广告  /PUSH  主题据包

● 与  Maxcompute(DataWorks)  云数据仓库无缝对接,一键订阅数据

● 预置分析模板和拖拽式自助分析能力,业务人员无需麻烦开发跑数即可完成分析

3.友盟数据银行-数据开放平台  DOP  通过和  MaxCompute  共创带来的客户体验提升

● 开放多端、多主题的的明细数据与指标数据,为开发者构建私域数据体系

● 指标数据开放,将友盟+9年行业经验沉淀回馈于开发者

①实时指标大屏展示

②多维指标分析监控

● 明细数据开放,助力开发者进行与业务数据的数据融合自助分析

①实时渠道  ROI  分析

②投放使用-转化大漏斗

③用户分层运营

④实时推荐服务

4.友盟数据银行-数据开放平台  DOP  支持云上数仓无缝链接,为开发者提供一键式数据模型体系开放的体验

开发者云上数仓:

● 高性价比交互式查询服务,兼容接入异构数据源进行询和分析,无缝链接,一键订阅,支持订阅数据数据写入开发者云上数仓。

● 为您提供快速、完全托管的  PB  级数据仓库解决方案,经济并高效的批量分析海量数据。

四、案例介绍

本章节介绍  MaxCompute +  数据银行的应用案例及分析

MaxCompute +  友盟数据银行

案例1:本地生活行业客户,业务数据化+数据可视化背景

背景:

客户:本地生活类,智慧社区服务平台

痛点:数据化运营程度低,数据分散,业务人员的数据需求实现周期长。

实施方案:

1.规范化的多端数据采集

基于业务需求梳理进行埋点方案设计,APP. H5.  小程序等多端  SDK  采集。

2.实时数据和离线数据的订阅返还

经过友盟统-ETL服务的采集数据分别投递至客户  SLS  (实时)、DLA   (离线)。

3.数据报表设计与开发

离线数据自动联通  QBI  ,除4个预置看版外,根据具体业务需求搭建业务分析监测。

方案结果:

业务数据化:多端采集行为数据纳入数仓体系建设

数据可视化:日常数据监测看版,让业务人员快速看到产品迭代、运营动作的效果。

MaxCompute+  友盟数据银行

案例2:游戏行业客户,多源数据融合

背景:

客户:独立游戏工作室

痛点: APP  行为数据与后台业务数据割裂

实施方案:

1.数据采集

使用游戏行业埋点方案进行  APP  端数据采集,获取多种用户识别  ID

2数据迁移

存入其他云厂商的用户付费、广告收入等数据迁移入阿里云

3.数据融合

采集行为数据键投递至阿里云数据库,通过用户唯识别将数据融合

方案结果:

数据融合分析:

结合用户留存行为和收入数据,测算用户生命周期价值,判新渠道回本周期渠道投放优选。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
165 3
|
29天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
81 11
|
2月前
|
存储 分布式计算 大数据
MaxCompute 数据分区与生命周期管理
【8月更文第31天】随着大数据分析需求的增长,如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个专为海量数据设计的计算服务,它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法,并通过具体的代码示例来展示如何实施这些策略。
82 1
|
2月前
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
|
2月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
2月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
2月前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
消息中间件 数据采集 JSON
大数据 - DWD&DIM 行为数据
大数据 - DWD&DIM 行为数据
43 1
|
2月前
|
消息中间件 存储 大数据
大数据-数据仓库-实时数仓架构分析
大数据-数据仓库-实时数仓架构分析
96 1
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
理解并利用大数据的力量:解锁数据背后的价值
【8月更文挑战第7天】大数据已成为推动社会进步和经济发展的重要力量。通过理解并利用大数据的力量,企业可以解锁数据背后的价值,优化业务流程、提升决策效率和创新能力。然而,大数据应用也面临着诸多挑战和风险,需要企业不断学习和实践以应对。相信在未来的发展中,大数据将为我们带来更多的惊喜和机遇。

热门文章

最新文章

下一篇
无影云桌面