大厂 AWS 推崇的大数据平台是什么样的? - 亚马逊云科技数据驱动创新 - 在线大会精彩回顾(20211028) 1

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大厂 AWS 推崇的大数据平台是什么样的? - 亚马逊云科技数据驱动创新 - 在线大会精彩回顾(20211028)

1 前言

亚马逊云科技于 10/28/2021 开展了数据驱动创新在线大会,笔者在线收看了主题演讲直播,今天提炼了下会议精彩观点跟大家分享下,同时也提供了会议相关资料的下载链接,以飨读者。

2 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体

AWS 提出了智能湖仓的概念,这点其实跟业界最近一直倡导的数据湖仓/湖仓一体,是一致的:

  • 组织需要建立一个集中式数据资源池,即“数据湖”,用于整合不同类型、形式和来源的所有数据,并通过分析获得对业务现状的整体认识。例如,我们可以整合来自网页、移动应用、店内消费等多个终端的客户数据,并在打通这些数据的关联后进行基于数据的业务创新,从而更好地为客户提供个性化内容和产品。
  • 同时,根据具体工作需求,使用一系列专用数据存储和分析服务构建智能湖仓架构,便捷地以特定的方式使用数据;除此之外,与一体化决方案相比,这种使用专用构建服务的方式,成本更低,但性能更好、功能更强、规模更大。通过降低成本、提高安全性和灵活性并使用恰当的工具,组织可以为成为数据驱动型企业做好准备并在机遇出现时,及时抓住这些机遇。

image.png

数据仓库,数据湖于智能湖仓/数据湖仓/湖仓一体的概要对比如下:

image.png


在这种智能湖仓/数据湖仓/湖仓一体架构下,企业可以通过可扩展的数据湖来整合数据孤岛,对数据资产进行集中治理,在统一的数据安全护航下,将数据转化为洞察。

3 会议精彩观点 - 数据驱动战略下,企业的全栈式数据服务全景图

AWS 给出了数据驱动战略下,全栈式数据服务全景图,重点强调了,围绕着中心数据湖,和外围多种专用数据存储和分析服务,数据的移动方向有三种:

  • 数据环湖运动
  • 由外而内的数据移动
  • 由内而外的数据移动

image.pngimage.png

image.png

image.pngimage.png

4 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体下,AWS对数据的摄取/存储/目录/处理/消费/安全与治理各层的解决方案

在智能湖仓/数据湖仓/湖仓一体下,AWS 围绕着数据的摄取/存储/目录/处理/消费/安全与治理,各层解决方案对应的具体组件如下:

image.png

image.png

image.png

image.png

image.png

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
26天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
212 7
|
26天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
41 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
80 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
52 3
|
17天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
33 4
|
23天前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
24 4
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
56 3
|
1月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
63 2
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
86 2