如何构建云原生的开源大数据平台 | 产品新功能速递

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
简介: 云原生开源大数据的新产品和新功能「速递」:企业数据云 Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。
云原生开源大数据的新产品和新功能「速递」:企业数据云Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

288103CD-01F9-43de-842D-B960F73F7FE1.png

分享嘉宾:潘禹丞,阿里云产品运营

视频地址:https://yqh.aliyun.com/live/bigdataop


「新产品发布」企业数据云 Cloudera CDP 平台

本次发布提供覆盖更全场景的统一管理组件,让 CDP、CDF 和 CDSW 形成统一管理平台,从而提供更加专业的数据安全和治理能力。简化多用户数据访问和分析,始终对数据访问及其使用进行授权、跟踪和审核。同时符合法规要求, 以减少由于不断增长的数据隐私要求而产生的业务和安全风险。

1.jpg

Cloudera Data PlatformCDP

CDHHDP的优点与堆栈中的新功能和增强功能结合在一起形成CDP,使得用户在CDP中安全地运行多种类型的从边缘计算到人工智能的多功能数据分析。


Cloudera Data Flow (CDF)

CDF是一个可扩展的实时流数据平台,可收集、整理和分析数据,以便客户获得关键见解,并可以立即采取行动。


Cloudera Data Science Workbench (CDSW)

CDSW是一个安全的自助式企业数据科学平台,可让数据科学家管理自己的分析管道,从而加快从勘探到生产的机器学习项目.

 

点击了解:企业数据云ClouderaCDP

 

「新功能发布」Elasticsearch 自研存储引擎Openstore

阿里云Elasticsearch日志增强版,是由年初发布,针对日志场景的一个高写入低存储成本的版本。本次升级的新功能-自研存储引擎Openstore ,在数据存储成本上做到了进一步的降低。如果您对数据查询要求不高,同时日志/数据量较大的客户,带来了不错的性价比。

2.jpg

核心功能

  • 阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,旨在日志场景为客户提供海量存储服务
  • 基于计算存储分离架构,可根据实际数据的存储量按量计费,无须提前预留集群存储容量
  • 100%兼容 Elasticsearch 原生查询能力,全自动索引生命周期管理,满足集群易用性及查询要求


应用场景

  • 适用于有海量数据高并发写入以及数据存储的日志分析、指标运维监控等场景
  • 数据有明显的冷热区分、查询QPS较低且查询时延容忍度相对较高


核心优势

  • 低成本:相较于本地SATA盘存储成本降低60%,比高效云盘存储成本降低70%
  • 海量存储:数据存储按实际用量用多少付多少存储Serverless按量付费
  • 高可用:底层存储服务保证了集群的数据高可用,提供99.9999999999%的数据持久性


点击了解更多:Openstore存储引擎介绍】

 

「新功能发布」云原生数据湖构建DLF升级

数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。数据湖构建(Data Lake FormationDLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案,我们提供了四大主要的一个升级。

 3.png

元数据共享化

服务化元数据,满足单表百万分区元数据管理。支持超过10DB1亿Table10亿Partition


统一的数据权限

对接多引擎,支持库//列等细粒度数据访问控制


数据入湖

多数据源一键入湖,支持离线/实时入湖方式,用户自定义数据预处理过程


数据探索

提供便捷的数据探查能力,快速对湖内数据进行探索和分析

 

点击了解更多:【数据湖构建 Data Lake Formation

 

「新功能发布」EMR on ACKClickhousePresto

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的HadoopHiveSparkFlinkPrestoClickhouseDeltaHudi等开源大数据计算和存储引擎。

 4.png

EMR on ACK

阿里云容器服务 Kubernetes版(ACK)之上,利用 ACK 在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入


EMR ClickHouse 半托管集群

独立的 ClickHouse, 基于业务需要选择匹配的服务器。结合 Dataworks,实现大数据实时数仓的数据集成,开发运维工作


独立的 Presto 集群

交互式分析 Presto,支持独立部署,按照时间和负载要求进行弹性。满足资源隔离和成本优化


全面支持阿里云第七代机型

50%以上性能的提升,极致的网络和磁盘IO体验,搭载可信芯片,满足全方位的安全需求。


点击了解更多:E-MapReduce


 

「新功能发布」阿里云实时计算Flink

实时计算Flink版(Alibaba Cloud Realtime Compute for Apache FlinkPowered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,以下三点为主要升级方向

5.png

细粒度资源配置

针对流式SQL作业调优中常见的个别节点反压需要增加整体作业资源的痛点,商业版首发细粒度SQL作业调优的能力,使您能精准的分配自己的每一份资源


Flink CDC 2.0

针对Flink CDC功能进一步完善,支持并发读取数据,不再使用锁表机制,减少对线上数据库的影响,同时支持全量表同步中的cp机制,保证全量同步的稳定性


Holo元数据服务

支持在实时计算Flink版中直接连通Holo的元数据访问其中的表结构和数据,协助您更便捷的搭建实时数仓服务

点击了解更多:【实时计算Flink


「限时优惠」新老同享,低至“0”

限时优惠,为大家带来了100%大数据开源组件,存算分离,链接阿里云生态和开源大数据生态,EMR+Elasticsearch+Flink开源大数据上云搬站组合优惠

 6.png

阿里云Elasticsearch

通用商业版 2C4G版本新用户首月0元即可体验,同时对新老用户年付均享受8.5


E-MapReduce

面向新老客户,包年包月即可享受0元使用优惠


实时计算Flink

包年包月 10CU的新客户,可享首月99元的体验价,同时购买3个月以上的新老客户,可享8.5折优惠

 

活动详情可点击访问“大数据分会场”

https://pre-www.aliyun.com/activity/1111/bigdata





相关信息


点击链接观看直播回放,超多活动信息等你来

https://yqh.aliyun.com/live/bigdataop

⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


欢迎钉钉扫码加入EMR相关产品交流群,为您提供最新的产品直播、产品活动及技术支持!

image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
人工智能 分布式计算 大数据
大数据& AI 产品月刊【2025年4月】
大数据& AI 产品技术月刊【2025年4月】,涵盖4月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
5月前
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
394 17
|
5月前
|
数据采集 机器学习/深度学习 人工智能
面向 MoE 和推理模型时代:阿里云大数据 AI 产品升级发布
2025 AI 势能大会上,阿里云大数据 AI 平台持续创新,贴合 MoE 架构、Reasoning Model 、 Agentic RAG、MCP 等新趋势,带来计算范式变革。多款大数据及 AI 产品重磅升级,助力企业客户高效地构建 AI 模型并落地 AI 应用。
|
2月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
3月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2025年5月】
大数据& AI 产品技术月刊【2025年5月】,涵盖5月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
5月前
|
人工智能 分布式计算 大数据
大数据& AI 产品月刊【2025年3月】
大数据& AI 产品技术月刊【2025年3月】,涵盖3月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
6月前
|
边缘计算 人工智能 数据挖掘
|
6月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2025年1、2月】
大数据& AI 产品技术月刊【2025年1、2月】,涵盖双月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
8月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
376 8