如何构建云原生的开源大数据平台 | 产品新功能速递-阿里云开发者社区

开发者社区> 阿里云E-MapReduce团队> 正文

如何构建云原生的开源大数据平台 | 产品新功能速递

简介: 云原生开源大数据的新产品和新功能「速递」:企业数据云 Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。
+关注继续查看
云原生开源大数据的新产品和新功能「速递」:企业数据云Cloudera CDP 正式商业化,0元免费测试火热申请中;Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

288103CD-01F9-43de-842D-B960F73F7FE1.png

分享嘉宾:潘禹丞,阿里云产品运营

视频地址:https://yqh.aliyun.com/live/bigdataop


「新产品发布」企业数据云 Cloudera CDP 平台

本次发布提供覆盖更全场景的统一管理组件,让 CDP、CDF 和 CDSW 形成统一管理平台,从而提供更加专业的数据安全和治理能力。简化多用户数据访问和分析,始终对数据访问及其使用进行授权、跟踪和审核。同时符合法规要求, 以减少由于不断增长的数据隐私要求而产生的业务和安全风险。

1.jpg

Cloudera Data Platform(CDP)

由CDH和HDP的优点与堆栈中的新功能和增强功能结合在一起形成CDP,使得用户在CDP中安全地运行多种类型的从边缘计算到人工智能的多功能数据分析。


Cloudera Data Flow (CDF)

CDF是一个可扩展的实时流数据平台,可收集、整理和分析数据,以便客户获得关键见解,并可以立即采取行动。


Cloudera Data Science Workbench (CDSW)

CDSW是一个安全的自助式企业数据科学平台,可让数据科学家管理自己的分析管道,从而加快从勘探到生产的机器学习项目.

 

点击了解:企业数据云ClouderaCDP

 

「新功能发布」Elasticsearch 自研存储引擎Openstore

阿里云Elasticsearch日志增强版,是由年初发布,针对日志场景的一个高写入低存储成本的版本。本次升级的新功能-自研存储引擎Openstore ,在数据存储成本上做到了进一步的降低。如果您对数据查询要求不高,同时日志/数据量较大的客户,带来了不错的性价比。

2.jpg

核心功能

  • 阿里云Elasticsearch团队自研的针对日志场景的低成本、高效、弹性存储解决方案,旨在日志场景为客户提供海量存储服务
  • 基于计算存储分离架构,可根据实际数据的存储量按量计费,无须提前预留集群存储容量
  • 100%兼容 Elasticsearch 原生查询能力,全自动索引生命周期管理,满足集群易用性及查询要求


应用场景

  • 适用于有海量数据高并发写入以及数据存储的日志分析、指标运维监控等场景
  • 数据有明显的冷热区分、查询QPS较低且查询时延容忍度相对较高


核心优势

  • 低成本:相较于本地SATA盘存储成本降低60%,比高效云盘存储成本降低70%
  • 海量存储:数据存储按实际用量用多少付多少存储Serverless按量付费
  • 高可用:底层存储服务保证了集群的数据高可用,提供99.9999999999%的数据持久性


点击了解更多:【Openstore存储引擎介绍】

 

「新功能发布」云原生数据湖构建DLF升级

数据湖是一个集中式存储库,可存储任意规模结构化和非结构化数据,支持大数据和AI计算。数据湖构建(Data Lake Formation,DLF)作为云原生数据湖架构核心组成部分,帮助用户简单快速地构建云原生数据湖解决方案,我们提供了四大主要的一个升级。

 3.png

元数据共享化

服务化元数据,满足单表百万分区元数据管理。支持超过10万DB,1亿Table,10亿Partition


统一的数据权限

对接多引擎,支持库/表/列等细粒度数据访问控制


数据入湖

多数据源一键入湖,支持离线/实时入湖方式,用户自定义数据预处理过程


数据探索

提供便捷的数据探查能力,快速对湖内数据进行探索和分析

 

点击了解更多:【数据湖构建 Data Lake Formation】

 

「新功能发布」EMR on ACK、Clickhouse、Presto

E-MapReduce(简称“EMR”)是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。

 4.png

EMR on ACK

阿里云容器服务 Kubernetes版(ACK)之上,利用 ACK 在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入


EMR ClickHouse 半托管集群

独立的 ClickHouse, 基于业务需要选择匹配的服务器。结合 Dataworks,实现大数据实时数仓的数据集成,开发运维工作


独立的 Presto 集群

交互式分析 Presto,支持独立部署,按照时间和负载要求进行弹性。满足资源隔离和成本优化


全面支持阿里云第七代机型

50%以上性能的提升,极致的网络和磁盘IO体验,搭载可信芯片,满足全方位的安全需求。


点击了解更多:【E-MapReduce】


 

「新功能发布」阿里云实时计算Flink版

实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,以下三点为主要升级方向

5.png

细粒度资源配置

针对流式SQL作业调优中常见的个别节点反压需要增加整体作业资源的痛点,商业版首发细粒度SQL作业调优的能力,使您能精准的分配自己的每一份资源


Flink CDC 2.0

针对Flink CDC功能进一步完善,支持并发读取数据,不再使用锁表机制,减少对线上数据库的影响,同时支持全量表同步中的cp机制,保证全量同步的稳定性


Holo元数据服务

支持在实时计算Flink版中直接连通Holo的元数据访问其中的表结构和数据,协助您更便捷的搭建实时数仓服务

点击了解更多:【实时计算Flink】


「限时优惠」新老同享,低至“0”元

限时优惠,为大家带来了100%大数据开源组件,存算分离,链接阿里云生态和开源大数据生态,EMR+Elasticsearch+Flink开源大数据上云搬站组合优惠

 6.png

阿里云Elasticsearch

通用商业版 2C4G版本新用户首月0元即可体验,同时对新老用户年付均享受8.5折


E-MapReduce

面向新老客户,包年包月即可享受0元使用优惠


实时计算Flink

包年包月 10CU的新客户,可享首月99元的体验价,同时购买3个月以上的新老客户,可享8.5折优惠

 

活动详情可点击访问“大数据分会场”

https://pre-www.aliyun.com/activity/1111/bigdata





相关信息


⭐点击链接观看直播回放,超多活动信息等你来

https://yqh.aliyun.com/live/bigdataop

⭐更多EMR相关信息,欢迎前往EMR产品详情页:    https://www.aliyun.com/product/emapreduce


欢迎钉钉扫码加入EMR相关产品交流群,为您提供最新的产品直播、产品活动及技术支持!

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
08.Eclipse下Ndk开发(使用fmod实现QQ变声功能)
(创建于2017/12/30) 1.编写native package org.fmod.example; public class EffectUtils { //音效的类型 public static final int ...
905 0
云原生数据仓库AnalyticDB MySQL 助力蜂创提升营销SAAS平台和CDP产品性能
阿里云AnalyticDB满足了蜂创营销SAAS平台海量数据实时分析秒级返回的诉求,弹性模式的冷热存储分离能力帮助他们节约了很大的数据存储成本。
158 0
阿里云携手 VMware 共建云原生 IoT 生态,聚开源社区合力打造领域标准
5 月 29 日,“2021 阿里云开发者大会”于北京国际会议中心举办。在本次大会“云原生技术与最佳实践”论坛现场,阿里云容器服务负责人易立、VMware 中国研发中心研发总监路广联合宣布达成双方在“云原生边缘计算”领域的技术战略合作,希望未来依托开源社区力量,加速边缘云原生生态系统的构建,共同推动云边融合进程,帮助更多企业全面拥抱数智化转型升级。
9655 0
【云周刊】第205期:阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰”
本期头条 阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰” 信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高。这一难题已经被阿里攻克了:双11的第1分钟,数千万人同时涌进天猫,点开APP的一瞬间,心仪的宝贝就已经出现在屏幕上。
3581 0
云上创新时代:云原生加速数字化转型创新,开发者黄金时代即将到来!
2021年5月28日、29日,由阿里云主办的“云上创新开发者大会”在北京成功举行。大会涵盖云计算领域最新热点话题,云原生、云上大数据、AI、低代码、云效敏捷、云钉等专题及开发者分论坛,与数千位开发者一道,共享一场技术盛宴。 云上创新、开发者是会议的关键词,开放、开源成为阿里云产品主流,新的产业变革正向我们走来!
295 0
构建前端安全生产体系,给前端同学「稳稳」的幸福
“前端安全⽣产”专注于前端研发全链路的⾼质量交付,在前端应⽤开发、发布、线上运⾏三个关键阶段,通过⼀系列的⾃动化流程机制,控制前端代码⻛险,保障线上业务运⾏稳定,⽤机制保护⼈,不给前端同学引发线上故障的犯错机会,最终规避损失或者降低损失。
1162 0
217
文章
14
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载