【云栖大会】持续拥抱开源阿里云计算能力三大突破

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。
+关注继续查看

10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。

_Rob_Hays
阿里巴巴集团副总裁周靖人与英特尔公司数据中心事业部副总裁Rob Hays

周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。我们希望通过不断的释放阿里云的计算红利,帮助开发者抓住更多市场机遇。

BigBench全球首次达到100TB

TPCx-BigBench是大数据端到端真实复杂的业界领先测试基准,目前,TPC官网公布的测试最大规模为10TB,最佳性能是1491.23BBQpm。

当天,阿里云与Intel合作,在最新的Intel硬件上,基于公共云发布的BigBench On MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000BBQpm,也是首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

在规模上的优秀表现,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上,MaxCompute新一代处理引擎从Compiler、Optimizer、Runtime等模块进行的持续深度优化。此外,MaxCompute与Intel开展深度合作,软硬结合深度优化。

英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

更快的流计算StreamCompute 2.0

在流计算方面,周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink,并为开源社区提供了大量阿里内部的改进和优化。

新版流式计算2.0的特点包括:

1.高吞吐低时延处理能力,单作业峰值达数千万的QPS,相比于StreamCompute 1.0有10+倍提升

2.SQL化的流式分析语言,由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQL;BlinkSQL支持完备的流式处理语义,支持包括多种窗口、乱序容忍、完整DDL支持

3.精准的数据处理语义,提供Exactly-once处理语义,同时为减少磁盘IO,提供增量CheckPoint,优化存储空间。

E-MapReduce性能3倍提升

E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。

周靖人介绍,为了解决大数据处理以及机器学习的统一调度难题,E-MapReduce产品实现了CPU/GPU的混合调度方案,使得数据预处理以及数据训练可以在一个平台上解决。

E-MapReduce对于数据读写的性能至关重要,产品通过对于对象存储OSS的优化,使得读写OSS的性能是同类产品的3倍,对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1天前
|
存储 人工智能 大数据
【2023云栖】陈守元:阿里云开源大数据产品年度发布
阿里云计算平台事业部开源大数据产品总监陈守元围绕EMR、Flink Streaming Lakehouse、 Elasticsearch、Milvus等产品发布展开分享介绍。
44 2
|
1天前
|
缓存 Kubernetes 容器
OpenKruise是阿里云开源的大规模应用自动化管理引擎
OpenKruise是阿里云开源的大规模应用自动化管理引擎
16 2
|
11天前
|
人工智能 并行计算 开发工具
阿里云Q2财报:开放、开源、开发者
阿里云Q2财报:开放、开源、开发者
167 0
阿里云Q2财报:开放、开源、开发者
|
18天前
|
人工智能 算法 数据处理
零一万物发布首款大模型,阿里云魔搭社区开源首发
零一万物发布首款大模型,阿里云魔搭社区开源首发
77 0
|
2月前
|
Kubernetes Java 开发者
【测评体验】探索阿里云MSE-Nacos的开源版
本文通过体验测评,分享对阿里云MSE-Nacos的开源版的测评,重点关注其在开源选型、最佳实践和开源需求方面的表现。通过对性能、功能、控制台体验、上下游生态和社区体验的比对,以及对使用过程中遇到的问题和需求的探讨,读者可以了解阿里云MSE-Nacos开源版的优势、挑战和未来发展方向。
52 1
【测评体验】探索阿里云MSE-Nacos的开源版
|
3月前
|
机器学习/深度学习 JSON 自然语言处理
阿里云PAI-灵骏大模型训练工具Pai-Megatron-Patch正式开源!
随着深度学习大语言模型的不断发展,其模型结构和量级在快速演化,依托大模型技术的应用更是层出不穷。对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将大模型消耗的算力发挥出来,还要应对大模型的持续迭代。开发简单易用的大模型训练工具就成了应对以上问题广受关注的技术方向,让开发者专注于大模型解决方案的开发,降低大模型训练加速性能优化和训练/推理全流程搭建的人力开发成本。阿里云机器学习平台PAI开源了业内较早投入业务应用的大模型训练工具Pai-Megatron-Patch,本文将详解Pai-Megatron-Patch的设计原理和应用。
|
3月前
|
消息中间件 Cloud Native Serverless
阿里云在云原生领域喜获多项 OSCAR 开源尖峰案例奖
阿里云在云原生领域喜获多项 OSCAR 开源尖峰案例奖
|
3月前
|
关系型数据库 分布式数据库 数据库
玩转阿里云PolarDB开源数据库训练营火热开营中!
开学季玩转阿里云PolarDB开源数据库训练营开营啦!本次训练营理论结合手把手的教学,帮你轻松入门阿里云云原生开源数据库PolarDB PostgreSQL版与PolarDB分布式,一起探索PolarDB开源数据库的奥秘。
|
3月前
|
Kubernetes 安全 Linux
|
3月前
|
人工智能 自然语言处理 安全
书生·浦语20B模型在阿里云魔搭开源首发!
书生·浦语20B模型在阿里云魔搭开源首发!
111 0
推荐文章
更多