如何构建云原生的开源大数据平台 | 产品新功能速递

本文涉及的产品
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 云原生开源大数据的新产品和新功能「速递」:企业数据云 Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。
云原生开源大数据的新产品和新功能「速递」:企业数据云Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

288103CD-01F9-43de-842D-B960F73F7FE1.png

分享嘉宾:潘禹丞,阿里云产品运营

视频地址:https://yqh.aliyun.com/live/bigdataop


「新产品发布」企业数据云 Cloudera CDP 平台

本次发布提供覆盖更全场景的统一管理组件,让 CDP、CDF 和 CDSW 形成统一管理平台,从而提供更加专业的数据安全和治理能力。简化多用户数据访问和分析,始终对数据访问及其使用进行授权、跟踪和审核。同时符合法规要求, 以减少由于不断增长的数据隐私要求而产生的业务和安全风险。

1.jpg

Cloudera Data PlatformCDP

CDHHDP的优点与堆栈中的新功能和增强功能结合在一起形成CDP,使得用户在CDP中安全地运行多种类型的从边缘计算到人工智能的多功能数据分析。


Cloudera Data Flow (CDF)

CDF是一个可扩展的实时流数据平台,可收集、整理和分析数据,以便客户获得关键见解,并可以立即采取行动。


Cloudera Data Science Workbench (CDSW)

CDSW是一个安全的自助式企业数据科学平台,可让数据科学家管理自己的分析管道,从而加快从勘探到生产的机器学习项目.

 

点击了解:企业数据云ClouderaCDP

 

「新功能发布」Elasticsearch 自研存储引擎Openstore

阿里云Elasticsearch日志增强版,是由年初发布,针对日志场景的一个高写入低存储成本的版本。本次升级的新功能-自研存储引擎Openstore ,在数据存储成本上做到了进一步的降低。如果您对数据查询要求不高,同时日志/数据量较大的客户,带来了不错的性价比。

2.jpg

核心功能

  • 阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,旨在日志场景为客户提供海量存储服务
  • 基于计算存储分离架构,可根据实际数据的存储量按量计费,无须提前预留集群存储容量
  • 100%兼容 Elasticsearch 原生查询能力,全自动索引生命周期管理,满足集群易用性及查询要求


应用场景

  • 适用于有海量数据高并发写入以及数据存储的日志分析、指标运维监控等场景
  • 数据有明显的冷热区分、查询QPS较低且查询时延容忍度相对较高


核心优势

  • 低成本:相较于本地SATA盘存储成本降低60%,比高效云盘存储成本降低70%
  • 海量存储:数据存储按实际用量用多少付多少存储Serverless按量付费
  • 高可用:底层存储服务保证了集群的数据高可用,提供99.9999999999%的数据持久性


点击了解更多:Openstore存储引擎介绍】

 

「新功能发布」云原生数据湖构建DLF升级

数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。数据湖构建(Data Lake FormationDLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案,我们提供了四大主要的一个升级。

 3.png

元数据共享化

服务化元数据,满足单表百万分区元数据管理。支持超过10DB1亿Table10亿Partition


统一的数据权限

对接多引擎,支持库//列等细粒度数据访问控制


数据入湖

多数据源一键入湖,支持离线/实时入湖方式,用户自定义数据预处理过程


数据探索

提供便捷的数据探查能力,快速对湖内数据进行探索和分析

 

点击了解更多:【数据湖构建 Data Lake Formation

 

「新功能发布」EMR on ACKClickhousePresto

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的HadoopHiveSparkFlinkPrestoClickhouseDeltaHudi等开源大数据计算和存储引擎。

 4.png

EMR on ACK

阿里云容器服务 Kubernetes版(ACK)之上,利用 ACK 在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入


EMR ClickHouse 半托管集群

独立的 ClickHouse, 基于业务需要选择匹配的服务器。结合 Dataworks,实现大数据实时数仓的数据集成,开发运维工作


独立的 Presto 集群

交互式分析 Presto,支持独立部署,按照时间和负载要求进行弹性。满足资源隔离和成本优化


全面支持阿里云第七代机型

50%以上性能的提升,极致的网络和磁盘IO体验,搭载可信芯片,满足全方位的安全需求。


点击了解更多:E-MapReduce


 

「新功能发布」阿里云实时计算Flink

实时计算Flink版(Alibaba Cloud Realtime Compute for Apache FlinkPowered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,以下三点为主要升级方向

5.png

细粒度资源配置

针对流式SQL作业调优中常见的个别节点反压需要增加整体作业资源的痛点,商业版首发细粒度SQL作业调优的能力,使您能精准的分配自己的每一份资源


Flink CDC 2.0

针对Flink CDC功能进一步完善,支持并发读取数据,不再使用锁表机制,减少对线上数据库的影响,同时支持全量表同步中的cp机制,保证全量同步的稳定性


Holo元数据服务

支持在实时计算Flink版中直接连通Holo的元数据访问其中的表结构和数据,协助您更便捷的搭建实时数仓服务

点击了解更多:【实时计算Flink


「限时优惠」新老同享,低至“0”

限时优惠,为大家带来了100%大数据开源组件,存算分离,链接阿里云生态和开源大数据生态,EMR+Elasticsearch+Flink开源大数据上云搬站组合优惠

 6.png

阿里云Elasticsearch

通用商业版 2C4G版本新用户首月0元即可体验,同时对新老用户年付均享受8.5


E-MapReduce

面向新老客户,包年包月即可享受0元使用优惠


实时计算Flink

包年包月 10CU的新客户,可享首月99元的体验价,同时购买3个月以上的新老客户,可享8.5折优惠

 

活动详情可点击访问“大数据分会场”

https://pre-www.aliyun.com/activity/1111/bigdata





相关信息


点击链接观看直播回放,超多活动信息等你来

https://yqh.aliyun.com/live/bigdataop

⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


欢迎钉钉扫码加入EMR相关产品交流群,为您提供最新的产品直播、产品活动及技术支持!

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
1336
分享
相关文章
大数据& AI 产品月刊【2025年1、2月】
大数据& AI 产品技术月刊【2025年1、2月】,涵盖双月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 2 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
303 10
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 2 月产品动态
alibaba-load-balancer-controller v1.2.0:开启云原生网关开源新篇章!敬请探索!
alibaba-load-balancer-controller v1.2.0:开启云原生网关开源新篇章!敬请探索!
91 61
微服务引擎 MSE 及云原生 API 网关 2025 年 1 月产品动态
微服务引擎 MSE 及云原生 API 网关 2025 年 1 月产品动态。
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 1 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 1 月产品动态
微服务引擎 MSE 及云原生 API 网关 2024 年 12 月产品动态
微服务引擎 MSE 及云原生 API 网关 2024 年 12 月产品动态。
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
106 7
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
146 1
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 12 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
175 12
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等