如何构建云原生的开源大数据平台 | 产品新功能速递

简介: 云原生开源大数据的新产品和新功能「速递」:企业数据云 Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。
云原生开源大数据的新产品和新功能「速递」:企业数据云Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

288103CD-01F9-43de-842D-B960F73F7FE1.png

分享嘉宾:潘禹丞,阿里云产品运营

视频地址:https://yqh.aliyun.com/live/bigdataop


「新产品发布」企业数据云 Cloudera CDP 平台

本次发布提供覆盖更全场景的统一管理组件,让 CDP、CDF 和 CDSW 形成统一管理平台,从而提供更加专业的数据安全和治理能力。简化多用户数据访问和分析,始终对数据访问及其使用进行授权、跟踪和审核。同时符合法规要求, 以减少由于不断增长的数据隐私要求而产生的业务和安全风险。

1.jpg

Cloudera Data PlatformCDP

CDHHDP的优点与堆栈中的新功能和增强功能结合在一起形成CDP,使得用户在CDP中安全地运行多种类型的从边缘计算到人工智能的多功能数据分析。


Cloudera Data Flow (CDF)

CDF是一个可扩展的实时流数据平台,可收集、整理和分析数据,以便客户获得关键见解,并可以立即采取行动。


Cloudera Data Science Workbench (CDSW)

CDSW是一个安全的自助式企业数据科学平台,可让数据科学家管理自己的分析管道,从而加快从勘探到生产的机器学习项目.

 

点击了解:企业数据云ClouderaCDP

 

「新功能发布」Elasticsearch 自研存储引擎Openstore

阿里云Elasticsearch日志增强版,是由年初发布,针对日志场景的一个高写入低存储成本的版本。本次升级的新功能-自研存储引擎Openstore ,在数据存储成本上做到了进一步的降低。如果您对数据查询要求不高,同时日志/数据量较大的客户,带来了不错的性价比。

2.jpg

核心功能

  • 阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,旨在日志场景为客户提供海量存储服务
  • 基于计算存储分离架构,可根据实际数据的存储量按量计费,无须提前预留集群存储容量
  • 100%兼容 Elasticsearch 原生查询能力,全自动索引生命周期管理,满足集群易用性及查询要求


应用场景

  • 适用于有海量数据高并发写入以及数据存储的日志分析、指标运维监控等场景
  • 数据有明显的冷热区分、查询QPS较低且查询时延容忍度相对较高


核心优势

  • 低成本:相较于本地SATA盘存储成本降低60%,比高效云盘存储成本降低70%
  • 海量存储:数据存储按实际用量用多少付多少存储Serverless按量付费
  • 高可用:底层存储服务保证了集群的数据高可用,提供99.9999999999%的数据持久性


点击了解更多:Openstore存储引擎介绍】

 

「新功能发布」云原生数据湖构建DLF升级

数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。数据湖构建(Data Lake FormationDLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案,我们提供了四大主要的一个升级。

 3.png

元数据共享化

服务化元数据,满足单表百万分区元数据管理。支持超过10DB1亿Table10亿Partition


统一的数据权限

对接多引擎,支持库//列等细粒度数据访问控制


数据入湖

多数据源一键入湖,支持离线/实时入湖方式,用户自定义数据预处理过程


数据探索

提供便捷的数据探查能力,快速对湖内数据进行探索和分析

 

点击了解更多:【数据湖构建 Data Lake Formation

 

「新功能发布」EMR on ACKClickhousePresto

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的HadoopHiveSparkFlinkPrestoClickhouseDeltaHudi等开源大数据计算和存储引擎。

 4.png

EMR on ACK

阿里云容器服务 Kubernetes版(ACK)之上,利用 ACK 在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入


EMR ClickHouse 半托管集群

独立的 ClickHouse, 基于业务需要选择匹配的服务器。结合 Dataworks,实现大数据实时数仓的数据集成,开发运维工作


独立的 Presto 集群

交互式分析 Presto,支持独立部署,按照时间和负载要求进行弹性。满足资源隔离和成本优化


全面支持阿里云第七代机型

50%以上性能的提升,极致的网络和磁盘IO体验,搭载可信芯片,满足全方位的安全需求。


点击了解更多:E-MapReduce


 

「新功能发布」阿里云实时计算Flink

实时计算Flink版(Alibaba Cloud Realtime Compute for Apache FlinkPowered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,以下三点为主要升级方向

5.png

细粒度资源配置

针对流式SQL作业调优中常见的个别节点反压需要增加整体作业资源的痛点,商业版首发细粒度SQL作业调优的能力,使您能精准的分配自己的每一份资源


Flink CDC 2.0

针对Flink CDC功能进一步完善,支持并发读取数据,不再使用锁表机制,减少对线上数据库的影响,同时支持全量表同步中的cp机制,保证全量同步的稳定性


Holo元数据服务

支持在实时计算Flink版中直接连通Holo的元数据访问其中的表结构和数据,协助您更便捷的搭建实时数仓服务

点击了解更多:【实时计算Flink


「限时优惠」新老同享,低至“0”

限时优惠,为大家带来了100%大数据开源组件,存算分离,链接阿里云生态和开源大数据生态,EMR+Elasticsearch+Flink开源大数据上云搬站组合优惠

 6.png

阿里云Elasticsearch

通用商业版 2C4G版本新用户首月0元即可体验,同时对新老用户年付均享受8.5


E-MapReduce

面向新老客户,包年包月即可享受0元使用优惠


实时计算Flink

包年包月 10CU的新客户,可享首月99元的体验价,同时购买3个月以上的新老客户,可享8.5折优惠

 

活动详情可点击访问“大数据分会场”

https://pre-www.aliyun.com/activity/1111/bigdata





相关信息


点击链接观看直播回放,超多活动信息等你来

https://yqh.aliyun.com/live/bigdataop

⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


欢迎钉钉扫码加入EMR相关产品交流群,为您提供最新的产品直播、产品活动及技术支持!

image.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
Cloud Native 安全 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
【5月更文挑战第2天】 随着企业加速其数字化进程,云原生架构逐渐成为实现敏捷性、可扩展性和高效运营的关键技术。本文将探讨云原生技术的基本原理及其在支持现代业务模型方面的重要性。我们将深入分析如何通过容器化、微服务和持续集成/持续部署(CI/CD)等策略来优化资源利用率,提高开发速度,并确保系统的可靠性和安全性。此外,文章还将讨论企业在采用云原生架构时面临的挑战及克服这些挑战的最佳实践。
|
2天前
|
Cloud Native 安全 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【5月更文挑战第1天】 随着数字化转型的深入,云原生技术以其灵活性、可扩展性和敏捷性成为现代企业IT架构的核心。本文将探讨云原生架构的关键组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps实践,并分析它们如何共同塑造企业的运营模式。同时,文章还将讨论在采纳云原生过程中企业可能遇到的挑战,如安全性问题、技术复杂性以及组织文化的转变,并提出应对策略。
16 8
|
2天前
|
运维 Cloud Native 持续交付
构建未来:云原生技术在企业数字化转型中的应用
【5月更文挑战第1天】 随着企业加速其数字化转型的步伐,云原生技术作为推动创新和灵活性的关键力量,正变得日益重要。本文深入探讨了云原生技术如何为企业提供高度可扩展、灵活且安全的解决方案,以及它如何支持企业在不断变化的市场环境中保持竞争力。通过对容器化、微服务架构、持续集成/持续部署(CI/CD)等核心技术的剖析,揭示了它们如何共同塑造一个更加敏捷和响应迅速的开发环境。文章还讨论了企业在采纳云原生技术过程中面临的挑战,并提出了一系列策略建议,以帮助企业顺利过渡到云原生模式。
|
2天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第1天】 随着企业加速其数字化转型的步伐,云原生技术已经成为推动创新和灵活性的核心动力。本文探讨了云原生架构如何为企业提供敏捷性、可扩展性和成本效益,同时确保了高度的系统稳定性。我们将深入分析云原生的关键技术组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps实践,并展示它们如何共同作用于企业的IT基础架构,促进业务增长和响应市场变化的能力。
|
2天前
|
设计模式 Cloud Native 算法
拥抱变化:我的技术适应之旅构建未来:云原生架构在企业数字化转型中的关键角色
【4月更文挑战第30天】 在技术的浪潮中,我学会了不仅仅是编码,还有如何与时俱进。本文记录了我从一名初出茅庐的开发者成长为一个能够适应不断变化技术环境的工程师的心路历程。从最初的困惑与挑战到后来的接纳与创新,我意识到,技术能力的提升和心态的转变同样重要。
|
2天前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用构建高效微服务架构:后端开发的新范式
【4月更文挑战第30天】 随着企业加速其数字化进程,云原生架构已成为支撑复杂、可伸缩和灵活应用的骨干。本文探讨了云原生技术的崛起,重点分析了其在促进业务敏捷性、提高运营效率及推动创新方面的核心价值。通过深入剖析云原生生态系统的关键技术组件,如容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,揭示了企业如何利用这些技术来构建和维护高度可用且动态的IT环境。文章还提出了一个多维度的采纳框架,帮助企业评估和实施云原生解决方案,以实现真正的业务价值。 【4月更文挑战第30天】在现代软件开发的快速演变中,微服务架构已经成为一种领先的设计模式,用于构建可扩展、灵活且容错的应用程序。与传
|
2天前
|
运维 Cloud Native 持续交付
构建高效弹性的云原生运维体系
【4月更文挑战第30天】 随着云计算的广泛应用和微服务架构的普及,传统的运维模式已难以满足快速迭代和高可用性的需求。本文旨在探讨如何构建一个高效而弹性的云原生运维体系,以应对动态变化的服务需求。通过引入自动化工具、容器化技术、微服务治理及持续集成/持续部署(CI/CD)流程等现代运维实践,实现系统的稳定性与敏捷性兼备。文中不仅阐述了相关技术要点,还提供了具体的实施步骤和策略,为运维人员在转型过程中提供参考。
|
12天前
|
消息中间件 Cloud Native 开发者
电子好书发您分享《阿里云云原生开源开发者沙龙北京站 PPT 合集 》
**阿里云开源沙龙PPT合集:北京站聚焦云原生技术** 探索云原生领域的深度与广度,[阿里云](https://developer.aliyun.com/ebook/8334/116563?spm=a2c6h.26392459.ebook-detail.5.da096cf6t38G15)分享了北京开发者沙龙的精彩内容,涵盖微服务、消息队列等主题,助力开发者洞悉行业趋势。![image](https://ucc.alicdn.com/pic/developer-ecology/cok6a6su42rzm_67b12f6cad6e4b2786859b3a668b3351.png)
15 3
|
2月前
|
人工智能 监控 Cloud Native
iLogtail 2.0 来了;通义灵码下载量破百万丨阿里云云原生 2 月产品月报
iLogtail 2.0 来了;通义灵码下载量破百万丨阿里云云原生 2 月产品月报
|
3月前
阿里云云原生恭祝大家新年快乐!
阿里云云原生恭祝大家新年快乐!