阿里云 EMR Serverless Spark 版正式开启商业化

本文涉及的产品
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!

阿里云 EMR Serverless Spark 版已于2024年9月14日正式商业化售卖,本文将简要介绍 EMR Serverless Spark 产品的功能、应用场景、计费模式,及使用限制。


阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验;支持弹性伸缩、按量付费,进一步降低计算成本!


产品优势

易用

  • 提供作业开发、调试、发布、调度等一站式数据开发体验。
  • 内置版本管理、开发与生产隔离,满足企业级开发与发布标准。
  • 提供内置 SQL Editor 和 Notebook,提供数据开发和数据科学一体化开发体验。

极速

  • 自研 Fusion 引擎,内置高性能向量化计算和 RSS 能力,相对开源版本性能提升 3 倍以上。

开放

  • 支持开放、灵活、弹性的数据湖仓分析。
  • 支持使用 DataFrame、SQL、PySpark 等多种编程方式开发批、流、交互式分析、机器学习等不同类型的任务,并进行调度执行。
  • 支持通过 Spark Submit、Livy、Spark Thrift Server 等开源兼容的方式进行任务提交。
  • 支持 DLF 以及外部 Hive Metastore 作为元数据服务。
  • 官方提供开源 Operators 对接 Airflow、DolphinScheduler 调度器。

云原生

  • 开箱即用,无需手动管理和运维云基础设施。
  • 弹性伸缩,秒级资源弹性与供给。
  • 按量付费,仅按任务实际使用的计算资源量付费,进一步降低计算总成本。


应用场景

湖仓分析场景

EMR Serverless Spark 与 DLF 深度集成,结合了数据湖仓元数据管理、数据存储等托管能力,提供了一站式湖仓分析解决方案。这一解决方案涵盖了从数据清洗、转换到分析的完整数据处理链路和流程,确保数据处理的高效性。同时,Serverless Spark 还提供企业级的安全能力,包括完整的数据目录、库表等安全要素,以保障数据的安全性。此外,该湖仓分析解决方案支持弹性伸缩功能,实现资源的优化配置,确保能够高效处理大规模数据。通过简化数据治理流程和降低运维成本,EMR Serverless Spark 帮助企业加速业务决策和创新,提升整体数据管理和分析的效率。


大数据AI一体化场景

EMR Serverless Spark 提供内置 Notebook,支持交叉使用 SQL 和 PySpark 进行大数据处理和数据科学分析一体化开发,同时支持对接 DLF 大数据 + AI 统一元数据视图,融合数据和 AI 应用,支持企业实现数据驱动的智能化决策。


传统数仓场景

面向经典的数据仓库大数据离线处理场景,EMR Serverless Spark 为您提供一站式解决方案,帮助您完成数据仓库的高效建设,包括数据开发、版本管理、任务调度、监控诊断、资源观测等。另外,在 Fusion 引擎的加持下,EMR Serverless Spark 提供在线数据查询与分析服务,方便您即时了解业务变化。 借助 Spark Thrift Server 提供的 JDBC 接口,您可以轻松将 EMR Serverless Spark 与您的 BI 系统对接,实现指标数据的高效查询和分析,进一步提升数据仓库的应用价值。


更多信息,请参见什么是EMR Serverless Spark

控制台入口:立即前往


支持地域

EMR Serverless Spark支持以下地域

中国站账号

地域名称

地域ID

华北2(北京)

cn-beijing

华东2(上海)

cn-shanghai

华东1(杭州)

cn-hangzhou

华南1(深圳)

cn-shenzhen

华北3(张家口)

cn-zhangjiakou

新加坡

ap-southeast-1

德国(法兰克福)

eu-central-1

美国(弗吉尼亚)

us-east-1


国际站账号

地域名称

地域ID

新加坡

ap-southeast-1

印度尼西亚(雅加达)

ap-southeast-1

德国(法兰克福)

eu-central-1

美国(弗吉尼亚)

us-east-1


产品计费

商业化开启后将涉及相关功能的收费,具体收费标准见 产品计费(点击link至spark计费标准文档)

说明

商业化开启后,继续使用 EMR Serverless Spark 将按照计费标准收取费用,如果不再使用请及时删除相关资源。


服务等级协议

商业化开启后,产品保障服务等级协议,详情请参见 E-MapReduce Serverless Spark服务等级协议。

【中国站】https://terms.alicdn.com/legal-agreement/terms/b_end_product_protocol/20240710173125747/20240710173125747.html?spm=a2c6h.13046898.publish-article.20.66c26ffalGR4KV

【国际站】https://www.alibabacloud.com/help/zh/legal/latest/alibaba-cloud-international-website-e-mapreduce-serverless-spark-service-level-agreement


快速跳转

  1. EMR Serverless Spark 版官网:https://www.aliyun.com/product/bigdata/serverlessspark
  2. 产品控制台:https://emr-next.console.aliyun.com/
  3. 产品文档:https://help.aliyun.com/zh/emr/emr-serverless-spark/



如果您在使用 EMR Serverless Spark 版的过程中遇到任何疑问,可钉钉扫描以下二维码加入钉钉群(群号:58570004119)咨询。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
打赏
0
3
3
0
1225
分享
相关文章
企业级API集成方案:基于阿里云函数计算调用DeepSeek全解析
DeepSeek R1 是一款先进的大规模深度学习模型,专为自然语言处理等复杂任务设计。它具备高效的架构、强大的泛化能力和优化的参数管理,适用于文本生成、智能问答、代码生成和数据分析等领域。阿里云平台提供了高性能计算资源、合规与数据安全、低延迟覆盖和成本效益等优势,支持用户便捷部署和调用 DeepSeek R1 模型,确保快速响应和稳定服务。通过阿里云百炼模型服务,用户可以轻松体验满血版 DeepSeek R1,并享受免费试用和灵活的API调用方式。
91 12
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
122 15
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
阿里云 EMR 发布托管弹性伸缩功能,支持自动调整集群大小,最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能,基于 EMR 托管弹性伸缩功能,您可以指定集群的最小和最大计算限制,EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样,自动调整集群大小,以获得最佳性能和资源利用率。
127 15
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
278 13
7分钟玩转 AI 应用,函数计算一键部署 AI 生图大模型
人工智能生成图像(AI 生图)的领域中,Stable Diffusion WebUI 以其强大的算法和稳定的输出质量而闻名。它能够快速地从文本描述中生成高质量的图像,为用户提供了一个直观且高效的创作平台。而 ComfyUI 则以其用户友好的界面和高度定制化的选项所受到欢迎。ComfyUI 的灵活性和直观性使得即使是没有技术背景的用户也能轻松上手。本次技术解决方案通过函数计算一键部署热门 AI 生图大模型,凭借其按量付费、卓越弹性、快速交付能力的特点,完美实现低成本,免运维。
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
103 12
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
函数计算产品使用问题之通过仓库导入应用时无法配置域名外网访问,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。