重磅:阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”
4月27日,第六届数字中国建设峰会在福建福州举办,阿里云首创并推动的智能数据湖方案因“引领业界技术上创新”入选本届峰会的“十大硬核科技",这也是历届峰会中首次有数据湖产品入选。阿里云在2019年推出了云原生智能数据湖方案,融合了E-MapReduce、DLF、OSS、Flink、PAI等产品,致力于帮助客户提升单位数据的智能化价值。
阿里云智能数据湖打破过多项世界纪录。在CloudSort 100TB竞赛和 TPC-DS 10TB竞赛中,阿里云分别打破世界纪录,TCO成本远低于第二名,降低近100%。在中国信通院的专项评测中,拿下“云原生数据湖基础能力专项评测证书”满分评测,国内第一。
2020年至今有上万家客户在阿里云上构建数据湖,覆盖智能汽车、在线教育、互联网广告、新媒体、网络游戏等行业。例如基于智能数据湖方案,小鹏汽车实现了大批量自动驾驶采集数据快速入湖、处理、标注和存储高效对接智能算力,多种模型同步训练。
E-MapReduce&DLF产品新进展
1、支持控制台可视化管理YARN分区
适用客户:EMR全量用户
发布功能:EMR支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。您可以直接在节点组上配置分区属性,扩容和弹性伸缩后,EMR会自动为新增节点打上Node Label,无需重新配置新节点。
相关文档:https://help.aliyun.com/document_detail/613506.html
2、EMR Doctor智能运维系统
- 集群日报计算部分增加任务长尾检测
- 集群日报计算部分数据倾斜诊断到Stage更细粒度的分析
- 集群日报计算部分任务明细增加作业IO和Shuffle信息
- 集群日报存储部分优化内存使用和分析时间
- 实时分析增加Spark任务异常分析
相关文档:https://help.aliyun.com/document_detail/442435.html
EMR产品活动
1、阿里云EMR Serverless StarRocks免费公测版发布
EMR Serverless StarRocks是由阿里云EMR全新推出的Serverless StarRocks服务,StarRocks是一款高性能分析型数据仓库,使用向量化、MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP 报表、数据湖分析、实时数据接入及分析等场景。
EMR Serverless StarRocks 相较于开源StarRocks产品特性包括:
- 提供免运维,全托管的StarRocks实例管理服务,提升服务的稳定性,可运维性,降低您的运维成本。
- 提供可视化,高效率的实例管理,监控告警,配置管理能力。
- 专业的StarRocks Manager,为StarRocks管理提供便捷的,可视化的元数据管理,诊断与优化,以及用户管理和授权能力。
阿里云 EMR Serverless StarRocks免费公测入口: https://help.aliyun.com/document_detail/608380.html
2、阿里云 × StarRocks 云上StarRocks极速湖仓—北京站
数据价值是一个老生常谈的话题,随着公司技术和业务的发展,数据的种类愈发繁多,数据分析的需求愈发复杂。当公司经营中产生的数据是海量的,同时数据类型和结构复杂且多元,传统的数据仓库就无法满足分析性能的需求,湖仓一体的技术架构应需而生。
为了能够满足更多用户对于极速湖仓分析的需求,StarRocks 2.5 版本进一步增强数据湖能力,在数据源生态、查询速度、使用体验上都做了大量优化。在物化视图构建、刷新机制优化上也取得了新的进展。作为合作伙伴,阿里云积极参与社区建设,深度参与到 StarRocks 数据湖分析能力的打造中。
阿里云 EMR StarRocks 产品发布已过去近一年的时间,同时随着 StarRocks 3.0 RC01 版本的面世,双方携手共同举办线下 Meetup。4月19日(周三)下午,水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家,针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容,为大家带来诚意满满的技术盛宴。
视频回放:https://developer.aliyun.com/live/251764
最佳技术实践
1、水滴筹基于阿里云 EMR StarRocks 实战分享
本篇文章由水滴筹大数据部门的数据开发工程师韩园园老师为大家带来水滴筹基于阿里云EMR StarRocks的实战经验分享。
文章详情:https://developer.aliyun.com/article/1207836
钉钉扫码进群,欢迎咨询与交流前沿开源大数据