大厂 AWS 推崇的大数据平台是什么样的? - 亚马逊云科技数据驱动创新 - 在线大会精彩回顾(20211028) 1

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大厂 AWS 推崇的大数据平台是什么样的? - 亚马逊云科技数据驱动创新 - 在线大会精彩回顾(20211028)

1 前言

亚马逊云科技于 10/28/2021 开展了数据驱动创新在线大会,笔者在线收看了主题演讲直播,今天提炼了下会议精彩观点跟大家分享下,同时也提供了会议相关资料的下载链接,以飨读者。

2 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体

AWS 提出了智能湖仓的概念,这点其实跟业界最近一直倡导的数据湖仓/湖仓一体,是一致的:

  • 组织需要建立一个集中式数据资源池,即“数据湖”,用于整合不同类型、形式和来源的所有数据,并通过分析获得对业务现状的整体认识。例如,我们可以整合来自网页、移动应用、店内消费等多个终端的客户数据,并在打通这些数据的关联后进行基于数据的业务创新,从而更好地为客户提供个性化内容和产品。
  • 同时,根据具体工作需求,使用一系列专用数据存储和分析服务构建智能湖仓架构,便捷地以特定的方式使用数据;除此之外,与一体化决方案相比,这种使用专用构建服务的方式,成本更低,但性能更好、功能更强、规模更大。通过降低成本、提高安全性和灵活性并使用恰当的工具,组织可以为成为数据驱动型企业做好准备并在机遇出现时,及时抓住这些机遇。

image.png

数据仓库,数据湖于智能湖仓/数据湖仓/湖仓一体的概要对比如下:

image.png


在这种智能湖仓/数据湖仓/湖仓一体架构下,企业可以通过可扩展的数据湖来整合数据孤岛,对数据资产进行集中治理,在统一的数据安全护航下,将数据转化为洞察。

3 会议精彩观点 - 数据驱动战略下,企业的全栈式数据服务全景图

AWS 给出了数据驱动战略下,全栈式数据服务全景图,重点强调了,围绕着中心数据湖,和外围多种专用数据存储和分析服务,数据的移动方向有三种:

  • 数据环湖运动
  • 由外而内的数据移动
  • 由内而外的数据移动

image.pngimage.png

image.png

image.pngimage.png

4 会议精彩观点 - 智能湖仓/数据湖仓/湖仓一体下,AWS对数据的摄取/存储/目录/处理/消费/安全与治理各层的解决方案

在智能湖仓/数据湖仓/湖仓一体下,AWS 围绕着数据的摄取/存储/目录/处理/消费/安全与治理,各层解决方案对应的具体组件如下:

image.png

image.png

image.png

image.png

image.png

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
12天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
49 1
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
48 3
|
7天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
17 3
|
7天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
26 2
|
9天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
37 2
|
11天前
|
数据采集 分布式计算 大数据
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代,数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能,常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性,通过建立数据质量评估和监控体系,确保数据分析结果的可靠性。企业应设立数据治理委员会,投资相关工具和技术,提升数据治理的效率和效果。
40 2
|
12天前
|
安全 搜索推荐 大数据
大数据与智慧城市:数据驱动的城市管理
【10月更文挑战第31天】在信息技术飞速发展的今天,大数据成为推动智慧城市转型的核心驱动力。本文探讨了大数据在智慧交通、环保、安防、医疗和政务等领域的应用,揭示了数据驱动的城市管理带来的深刻变革,同时分析了面临的数据安全、隐私保护和数据孤岛等挑战,并展望了大数据在智慧城市建设中的未来前景。
|
14天前
|
存储 安全 大数据
大数据隐私保护:用户数据的安全之道
【10月更文挑战第31天】在大数据时代,数据的价值日益凸显,但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案,旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识,共同推动大数据隐私保护的发展。
|
18天前
|
SQL 存储 大数据
大数据中数据提取
【10月更文挑战第19天】
40 2