开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课:MaxCompute持续定义SaaS模式云数据仓库——云数据仓库+数据银行】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/55/detail/1033
MaxCompute 持续定义 SaaS 模式云数据仓库——云数据仓库+数据银行
内容简介:
一、云数据仓库
二、数据银行
三、 MaxCompute +数据银行
四、案例介绍
一、云数据仓库
(一)MaxCompute: SaaS 模式企业级云数据仓库
1.应用场景
■ 广告场景——用户标签计算、分析
■ 业务运营场景——业务指标计算、查询
■ 各行业搭建数据仓库
■ 云上弹性扩展大数据计算和存储
2.产品优势
■ 云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求。
■ 简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用。
■ 企业级平台服务:支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成
■ 安全:多租户环境下安全控制能力强。
■ 大规模集群性能强、全链路稳定性高,阿里巴巴双11场景验证。
3.推荐组合
■ BI分析场景 -MaxCompute +Hologres + Flink+ DataWorks +Quick BI
■ 机器学习场景 -MaxCompute+ PAI+DataWorks
(二)MaxCompute 算力资源产品解决方案
1.包年包月
满足常规需求稳定财务支出
支持作业优先级,保限关键任务稳定产出支持在储与计算资源包购买
2.按需使用
无服务器架构,超大规模的存储和计算扩展能力
自动匹配业务需求,完美适配业务的高速变化
不使用不付费
3.多计算资源打通
融合打通包年包月与按需使用的弹性资源,只需
联合开通,即可实现更优的成本与性能平衡的资
源解决方案
4.抢占空闲资源
非预留计算资源,抢占并使用服务空闲计算资源。价格较包年包月标准计算资源下降74%。
(三)安全能力重大升级,持续保护企业云上安全解决方案
构建全面、多层次的安全管理能力,持续保护云上数据及服务安全。
安全事件频发,云上大数据服务,如何保网企业教据和服务安全
● 数据泄露
● 恶意删库
● 安全攻击
● 业务中断
关键发布
● 数据安全加密
● 持续备份恢复
● 实时审计日志
● 跨地域的容灾备份
(四)飞天大数据平台解决方案
● 方案说明:适用于电商、游戏、社交等互联网行业数据化运营,如智能推荐、日志采集分析、用户画像、数据治理、 业务大屏、搜索等场景;
● 方案优势:阿里巴巴最佳实践的大数据平台,1) 技术领先性; 2) 降本提效; 3)高附加值业务收益;
● 涉及产品:日志服务 SLS .数据传输DTS. DataHub. 实时计算 Flink、交互式分析、云数仓 MaxCompute、数据治理 DataWorks、Quick BI 报表、 DataV大屏、ES 搜索、机器学习 PAI。
二、数据银行
(一)什么是数据银行
目的:通过数据融合、共享、交易,实现数据价值变现最大化。
定义:数据银行旨在通过聚合内外部数据,融合共享,实现盘活资产运营、变现数据交易、释放数据价值,打造面向企事业产业链、面向生态链、面向社会的数据资产变现交易平台。
服务范围:数据交易(提供数据资产陈列、API传输及数据交易服务,拉通供需,实现数据价值变现)、数据增值(通过内外部数据融合及深度挖掘,提升数据内涵,实现数据增值)。
特点:融合数据,交易变现,深度挖掘,最大化释放数据价值并赋能
产业发展:
● 盘活数据资产:融合企业内部数据,引入外部高价值数据,丰富数据价值及内涵,应用数据资产交易能力,实现数据价值变现;
● 数据价值提升:依托数据银行提供算法及建模能力,持续挖掘并沉淀数据标签,提升数据资产价值;
● 产业发展赋能:数据银行提供多维度智能分析体系,赋能客户轻松应用数据可视化报表,智能决策,智能营销及智能运营等多维度智能应用,支持业务决策数字化;
● 三大数据服务: 储存(云存储)、储备(云备份)、储蓄(云订阅)。
(二)行业应用架构-友盟
三、 MaxCompute +数据银行
本章节介绍云数据仓库 MaxCompute +数据银行(友盟)实践
友盟数据银行-数据开放平台 DOP
1.主题数据包介绍
主题数据包及数据来源
● 统计分析: U-App AI/Pro (移动统 计) U-Web (网站统计) U-Mini Program (小程序统计)
● 开发省工具 :U-Push/ Pro (消息推送)
● 营销增长: U-AppTrack/ Pro移动广告监测)
我们如何共享、转让、 公开披您以及您最终用户的个人信息
● 共享:承担保密义务,不会为满足第三方的营的或非法日的而向其出告或出相它的信息,会与这些合作伙件合作以多种形式 U-DP 数整中台处理加工后的脱本数据用于包括优化广告投放和院升营销效果等商业化使用。
● 转让:不会向任何第三方转让意以及您最终用户的个人信息
● 公开披露:(1)获得您或您最终用户明确同意; (2) 基于法律的披露:在法律、法律程序、诉讼或政府主管部门强制性要求的情况下,我们可能会公开披露您或您最终用户的个人信息。(3) 在紧急情况下,经合理判断是为了保护我们、我们的客户、最终用户或其他人的重要合法权益。
2.友盟数据银行-数据开放平台 DOP 已实现产品功能和价值"一键通"模式
● 每日高性能采集加工海量数据,自动生产 APP/WEB/ 小程序/广告 /PUSH 主题据包
● 与 Maxcompute(DataWorks) 云数据仓库无缝对接,一键订阅数据
● 预置分析模板和拖拽式自助分析能力,业务人员无需麻烦开发跑数即可完成分析
3.友盟数据银行-数据开放平台 DOP 通过和 MaxCompute 共创带来的客户体验提升
● 开放多端、多主题的的明细数据与指标数据,为开发者构建私域数据体系
● 指标数据开放,将友盟+9年行业经验沉淀回馈于开发者
①实时指标大屏展示
②多维指标分析监控
● 明细数据开放,助力开发者进行与业务数据的数据融合自助分析
①实时渠道 ROI 分析
②投放使用-转化大漏斗
③用户分层运营
④实时推荐服务
4.友盟数据银行-数据开放平台 DOP 支持云上数仓无缝链接,为开发者提供一键式数据模型体系开放的体验
开发者云上数仓:
● 高性价比交互式查询服务,兼容接入异构数据源进行询和分析,无缝链接,一键订阅,支持订阅数据数据写入开发者云上数仓。
● 为您提供快速、完全托管的 PB 级数据仓库解决方案,经济并高效的批量分析海量数据。
四、案例介绍
本章节介绍 MaxCompute + 数据银行的应用案例及分析
MaxCompute + 友盟数据银行
案例1:本地生活行业客户,业务数据化+数据可视化背景
背景:
客户:本地生活类,智慧社区服务平台
痛点:数据化运营程度低,数据分散,业务人员的数据需求实现周期长。
实施方案:
1.规范化的多端数据采集
基于业务需求梳理进行埋点方案设计,APP. H5. 小程序等多端 SDK 采集。
2.实时数据和离线数据的订阅返还
经过友盟统-ETL服务的采集数据分别投递至客户 SLS (实时)、DLA (离线)。
3.数据报表设计与开发
离线数据自动联通 QBI ,除4个预置看版外,根据具体业务需求搭建业务分析监测。
方案结果:
业务数据化:多端采集行为数据纳入数仓体系建设
数据可视化:日常数据监测看版,让业务人员快速看到产品迭代、运营动作的效果。
MaxCompute+ 友盟数据银行
案例2:游戏行业客户,多源数据融合
背景:
客户:独立游戏工作室
痛点: APP 行为数据与后台业务数据割裂
实施方案:
1.数据采集
使用游戏行业埋点方案进行 APP 端数据采集,获取多种用户识别 ID
2数据迁移
存入其他云厂商的用户付费、广告收入等数据迁移入阿里云
3.数据融合
采集行为数据键投递至阿里云数据库,通过用户唯识别将数据融合
方案结果:
数据融合分析:
结合用户留存行为和收入数据,测算用户生命周期价值,判新渠道回本周期渠道投放优选。