AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

E-MapReduce Serverless Spark体验评测

2024-07-08 303
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 从了解到部署实践，全方位带你体验大数据平台EMR Serverless Spark的魅力。

产品概述

EMR Serverless Spark产品其实最通俗的理解就是它是一款完全可替代开源Spark的大数据服务产品。

EMR是E-MapReduce的简写，全称是Elastic MapReduce，是一种构建在云平台上的大数据处理系统解决方案，它基于开源的Apache Hadoop和Apache Spark等大数据技术，运行在云平台上，用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统（如Apache Hive、Apache Pig、HBase等）来分析和处理自己的数据。

Serverless是一种云计算模型，或者称作无服务架构。它允许开发人员构建和运行应用程序，而无需关心服务器的管理、配置和维护。

Spark是一个实现快速通用的集群计算平台，是一个通用内存并行计算框架，用于构建大型的、低延迟的数据分析应用程序。

综上，EMR Serverless Spark是一款云原生、全托管的产品，专为大规模数据处理和分析而设计。是阿里云提供的基于E-MapReduce平台的全托管Serverless Spark服务。它的架构是如下这样的。

image

从架构图我们可以非常直观清晰地了解到产品具备如下优势：

云原生极速计算引擎

  • 内置Fusion Engine (Spark Native Engine)，相对开源版本性能提升200%。
  • 内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。

开放化的数据湖架构

  • 支持计算存储分离，计算可弹性伸缩，存储可按量付费。
  • 对接OSS-HDFS，完全兼容HDFS的云上存储，无缝平滑迁移上云。
  • 中心化的DLF元数据，全面打通湖仓元数据。

一站式的开发体验

  • 提供作业开发、调试、发布、调度等一站式数据开发体验。
  • 内置版本管理、开发与生产隔离，满足企业级开发与发布标准。

Serverless的资源平台

  • 开箱即用，无需手动管理和运维云基础设施。
  • 弹性伸缩，秒级资源弹性与供给。
  • 按量付费，按实际计算资源量付费，进一步降低计算总成本。

开通试用

在正式开通试用前，我们先看一则官网的通告。

EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年07月25日结束。公测阶段面向所有用户开放，您可以免费试用。免费试用结束后，产品将正常计费。公测期间，产品有如下的限制，这里我们有必要先了解一下：

  • 工作空间的资源配额上限为100计算单元（CU）。
  • 单个Spark任务所能处理的Shuffle数据量最大限制为5 TB。
  • 工作空间内所有并行运行的任务共写入Shuffle数据的总量上限为10 TB。
  • 同一工作空间内允许并发执行的任务数量上限为100个。
  • 不保障服务等级协议（SLA），但服务不降级。
  • 公测期间包年包月的工作空间仅支持续费一个月。

距离公测结束时间很近了，还没来得及体验的小伙伴可不要错过了，我也是想赶在公测结束前好好体验一把。接下来就正式开启产品体验。

点击链接即可开通试用。如下：
image.png
首次开通，需要相关授权，这里点击同意授权和去授权即可。如下：
image.png
完成如上授权后，我们就来到了产品的管理控制台。如下：
image.png
可能细心的小伙伴会发现，这里明明显示免费公测到6月25日啊，为啥上面说是7月25日呢，这里我们可以忽略这个差异，以产品文档的7月25日截止为准。

到此，整个产品的开通试用就完成了，是不是相对于其他产品的试用要简单非常多。

快速入门

创建工作空间

要正式开始体验服务之前，需要先创建一个工作空间。在控制台首页点击“创建工作空间”，如下：
image.png
要完成工作空间的创建需要先开通DLF以及创建OSS的Bucket。这里有必要了解一下什么是DLF数据目录。DLF数据目录是数据湖构建（Data Lake Formation）的元数据最上层实体，可以包含多个数据库。它主要适用于需要实现元数据隔离的场景，比如多个E-MapReduce集群，每个集群可以绑定不同的数据目录（Catalog），确保每个EMR集群间的元数据互不可见。点击开通DLF，如下：
image.png
image.png
开通DLF服务后，还需要前往RAM开通相关权限，点击下图的开通。如下：
image.png
点击同意授权。如下：
image.png
完成上述后，我们就开通了DLF服务了。如下：
image.png
开通DLF后，系统会为您选择默认的DLF数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以单击创建数据目录，在弹出的对话框中输入目录ID，选择目录路径，然后单击确定。如下：
image.png
由于之前我开通过OSS服务，所以这里就不涉及OSS服务的开通，但需要创建OSS-Bucket，在ERM控制台点击链接前往，如下：
image.png
点击创建，如下：
image.png
这里为了方便，我选择“快速创建”，地域这里要注意，如果选择了“有地域限制”，那就需要选择和EMR同一个地域的。比如我这里的“杭州”。如下：
image.png
完成创建后，可以在Bucket列表查看到。如下：
image.png
完成上述配置后，回到EMR创建工作空间页面，确认相关信息，点击“创建工作空间”。如下：
image.png
在工作空间类型的选择上，有基础版和专业版区分，它们之间的主要差异点如下表格：

对比项 基础版 专业版
主要特点 100%兼容开源Spark。支持阿里云Fusion Engine（Spark Native Engine）。 100%兼容开源Spark。支持阿里云Fusion Engine（Spark Native Engine）。内置Celeborn来增强Spark在计算过程中的Shuffle效率。支持Executor动态分配策略。
适用场景 适用于对Spark有基本需求且对需求要求不是特别高的场景，提供了标准的分布式数据处理能力。 兼容基础版，适用于需要特定优化或扩展功能的复杂应用场景，可以满足用户对性能和功能全面提升的需求。
计费项 按任务实际消耗的CU数计费。 按任务实际消耗的CU数计费，单价有一定上浮。

为了体验更全面以及获得更优的性能，这里我选择专业版。

稍等片刻，待状态为运行中，一个工作空间就完成了创建。如下：
image.png
有了工作空间后，接下来将针对四个任务进行体验，分别时SQL任务、PySpark任务、JAR任务和Spark Submit任务。

SQL任务

我们首先需要创建并发布一个任务，进入EMR控制台，在EMR Serverless Spark页面，单击左侧导航栏中的任务开发。如下：
image.png
在任务目录页签下，单击新建。如下：
image.png
在新建任务对话框中，输入名称，类型使用默认的SparkSQL，然后单击确定。如下：
image.png
接下来需要创建一个表并插入数据。SQL如下：

CREATE TABLE IF NOT EXISTS students (
  name VARCHAR(64),
  address VARCHAR(64)
)
USING PARQUET
PARTITIONED BY (data_date STRING);

INSERT OVERWRITE TABLE students PARTITION (data_date = '${ds}') VALUES
  ('Ashua Hill', '456 Erica Ct, Cupertino'),
  ('Brian Reed', '723 Kern Ave, Palo Alto');

image.png
运行SQL需要用到SQL Compute，这里我们只需在下拉列表中选择连接SQL compute，直接创建一个新的SQL Compute。如下：
image.png
完成后，直接点击运行。完成后在数据目录这里可以看到执行结果。如下：
image.png
接下来就可以发布任务了。只需要点击“发布”，如下：
image.png
紧接著我们需要再创建一个查询统计任务，如下：
image.png
执行如下SQL语句。如下：

SELECT COUNT(1) FROM students;

image.png
接着点击发布，发布此任务。接下来我们需要创建一个工作流，在左侧导航栏中，单击任务编排。在任务编排页面，单击创建工作流。如下：

image.png
image.png
这里需要将刚才发布的两个任务当作节点添加进来。在新建的节点画布中，单击添加节点。如下：
image.png
image.png
完成节点添加后，在新建的节点画布中，单击发布工作流。如下：
image.png
在任务编排页面，单击新建工作流的工作流名称。在工作流实例列表页面，单击手动运行。如下：
image.png
在工作流实例列表页面，我们可以非常直观清晰地查看对应的所有工作流实例，以及各工作流实例的运行时间、运行状态等。如下：
image.png
单击工作流实例列表区域的工作流运行ID，或单击上方的工作流实例图页签，可以查看对应的工作流实例图。如下：
image.png
在此页面，单击目标节点实例，在弹出的节点信息框中，还可以根据需要操作或查看信息。如下：
image.png
比如单击Spark UI跳转至Spark Jobs页面，可以查看Spark任务的实时信息。如下：
image.png
单击任务运行ID，进入任务列表页面，还可以查看指标、诊断和日志信息。如下：
image.png
当然我们还可以创建一个查询数据的任务，单击任务开发，新建任务，输入并执行以下命令以查看表的详细信息。如下：
image.png

PySpark任务

PySpark是Apache Spark的Python API，它允许Python开发者利用Spark的强大功能进行大规模数据处理。因此创建PySpark任务，需要提前准备Python的开发环境并基此完成Python文件的开发。这里为了快速体验，直接下载官网提供的测试文件。单击DataFrame.py和employee.csv，直接下载测试文件。

  • DataFrame.py文件是一段使用Apache Spark框架进行OSS上数据处理的代码。
  • employee.csv文件中定义了一个包含员工姓名、部门和薪水的数据列表。

有了上述文件后，在EMR Serverless Spark页面，单击左侧导航栏中的资源上传。在资源上传页面，单击上传文件。如下：
image.png
在上传文件对话框中，单击待上传文件区域选择Python文件，或直接拖拽Python文件到待上传文件区域。如下：
image.png
employee.csv文件需要上传到OSS，上传的方式有如下几种，这里为了方便，只体验OSS控制台。需要了解其他上传方式，可点击前往。

使用OSS控制台

使用图形化管理工具ossbrowser

使用阿里云SDK

使用命令行工具ossutil

使用REST API

利用OSS控制台上传文件，先登录OSS管理控制台，单击Bucket 列表，然后单击目标Bucket名称。在左侧导航栏，选择*文件管理 > 文件列表。在文件列表页面，单击上传文件。如下：

image.png
先单击扫描文件选择需要上传的文件，再单击上传文件。如下：
image.png
完成上传有如下提示：
image.png
完成上述准备后，在EMR Serverless Spark页面，单击左侧的任务开发。单击新建。新建一个Application（批任务） > PySpark类型的任务，单击确定。如下：
image.png
配置以下信息，其余参数无需配置，然后单击运行。主Python资源选择前一个步骤中在资源上传页面上传的Python文件DataFrame.py；运行参数填写数据文件（employee.csv）上传到OSS的路径。如下：
image.png
运行任务后，在下方的运行记录区域，单击任务操作列的详情。在任务历史中的开发任务页面，您可以查看相关的日志信息。如下：
image.png
待任务运行完成后，单击右侧的发布，即可完成PySpark任务的发布。如下：
image.png
任务正常运行后，可以在Spark UI上查看任务的运行情况。在任务总览页签，单击Spark UI。如下：
image.png
在Spark Jobs页面，可以查看任务详情。如下：
image.png
任务发布完成后，我们就可以在工作流调度中使用了，在左侧导航栏中，单击任务编排。在任务编排页面，单击创建工作流。完成如下：
image.png
在任务编排页面，单击新建工作流的工作流名称。在工作流实例列表页面，单击手动运行。运行结果如下：
image.png
image.png
image.png
image.png

JAR任务

创建JAR任务的前提是已经有打包好的程序JAR文件，这里同样为了快速体验，直接使用官网提供的JAR文件。单击spark-examples_2.12-3.3.1.jar，直接下载测试JAR包。该JAR包是Spark自带的一个简单示例，用于计算圆周率π的值。

在EMR Serverless Spark页面，单击左侧导航栏中的资源上传。在资源上传页面，单击上传文件。如下：
image.png
新建一个Application（批任务） > JAR*类型的任务，然后单击确定。如下：
image.png
主jar资源选择前一个步骤中上传的JAR包；Main Class填写提交Spark任务时所指定的主类，这里填写org.apache.spark.examples.SparkPi。如下：
image.png
在任务历史中的开发任务页面，可以查看相关的日志信息。如下：
image.png
在Spark Jobs页面，同样可以查看任务详情。如下：
image.png
任务发布完成后，就可以进行任务调度了，在左侧导航栏中，单击任务编排。在任务编排页面，单击创建工作流。完成如下：
image.png
在任务编排页面，单击新建工作流的工作流名称。在工作流实例列表页面，单击手动运行。运行结果如下：
image.png
image.png
image.png
image.png

Spark Submit任务

相较于JAR任务，Spark Submit任务在资源上传这里存在差异，其他步骤一致。这里同样使用OSS控制台来上传JAR文件，如下：
image.png
image.png
完成JAR文件上传后，新建一个Application（批处理） > Spark Submit类型的任务，然后单击确定**。如下：
image.png
脚本这里填写Spark Submit脚本，语句如下：

--class org.apache.spark.examples.SparkPi \
--conf spark.executor.memory=2g \
oss://emr-free/spark-examples_2.12-3.3.1.jar

image.png
在任务历史中的开发任务页面，可以查看相关的日志信息。如下：
image.png
在Spark Jobs页面，同样可以查看任务详情。如下：
image.png
任务发布完成后，就可以进行任务调度了，在左侧导航栏中，单击任务编排。在任务编排页面，单击创建工作流。完成如下：
image.png
在任务编排页面，单击新建工作流的工作流名称。在工作流实例列表页面，单击手动运行。运行结果如下：
image.png
image.png
image.png
image.png

经典实践

通过Serverless Spark提交PySpark流任务

首先需要在EMR on ECS上创建集群，首次使用需要先完成RAM授权。如下：
image.png
点击同意授权。如下：
image.png
单击创建集群。如下：
image.png
创建一个包含Kafka服务的实时数据流集群。如下：
image.png
接下来进行硬件配置，这里选择按量付费。如下：
image.png
填写集群名称并设置主机密码。如下：
image.png
确认信息，勾选协议，提交订单。如下：
image.png
当集群状态显示为运行中时，表明完成集群创建。如下：
image.png
从节点管理里可以看到每个节点的分布情况，如下：
image.png
集群创建完成后，登录EMR集群的Master节点104，执行如下命令：

#切换目录
cd /var/log/emr/taihao_exporter
#创建topic
#创建名为taihaometrics的Topic，分区数10，副本因子2。
kafka-topics.sh --partitions 10 --replication-factor 2 --bootstrap-server core-1-1:9092 --topic taihaometrics --create
#发送消息
# 使用kafka-console-producer发送消息到taihaometrics Topic。
tail -f metrics.log | kafka-console-producer.sh --broker-list core-1-1:9092 --topic taihaometrics

image.png
在EMR Serverless Spark页面，单击左侧导航栏中的网络连接。单击新增网络连接。如下：
image.png
输入新增连接的名称，选择与EMR集群相同的专有网络，选择与EMR集群部署在同一专有网络下的相同交换机。如下：
image.png
当状态显示为已成功时，表示新增网络连接成功。如下：
image.png
接下来需要为EMR集群添加安全组规则，在集群管理页面，单击目标集群的集群ID，在基础信息页面，单击集群安全组后面的链接，如下：
image.png
在安全组规则页面，单击手动添加，填写端口9092和EMR集群同属一个交换机的网段，然后单击保存。
image.png
接着需要上传kafka.zip中的所有JAR包至OSS，这里同样采用OSS控制台上传，如下：
image.png
完成上传，如下：
image.png
在EMR Serverless Spark页面，单击左侧导航栏中的资源上传，在上传文件对话框中，单击待上传文件区域选择pyspark_ss_demo.py文件。如下：
image.png
新建一个\Application（流任务）\ > *PySpark**类型的任务，然后单击确定。如下：
image.png 主Python资源选择前一个步骤中在资源上传页面上传的pyspark_ss_demo.py文件；运行参数填写EMR集群core-1-1节点的内网IP地址，这个信息可以在EMR集群的节点管理页面的Core节点组下查看。如下：
image.png
image.png Spark配置*填写用于指定Spark任务运行时需要加载的外部JAR包路径，如下：

spark.jars oss://emr-free/kafka-lib/commons-pool2-2.11.1.jar,oss://emr-free/kafka-lib/kafka-clients-2.8.1.jar,oss://emr-free/kafka-lib/spark-sql-kafka-0-10_2.12-3.3.1.jar,oss://emr-free/kafka-lib/spark-token-provider-kafka-0-10_2.12-3.3.1.jar
spark.emr.serverless.network.service.name connection_to_emr_kafka

image.png
完成如上配置后，单击发布任务，如下：
image.png
点击前往运维，在任务编排，流式任务，点击启动。如下：
image.png
整个运行过程还是非常耗时的，在此期间，你可以通过集群监控查看节点的状态，如下：
image.png
image.png
image.png
image.png
由于流任务运行耗时会很长，对于按量付费的话花费就会较高，如果需要长期使用建议还是选用包年包月的计费方式。我这里采用按量付费方式完成任务共花费了30元，主要消耗在ECS。如下：
image.png
运行完成后，在Driver日志列表中，单击stdOut.log，可以看到应用程序执行的相关信息以及返回的结果。如下：
image.png
到这实践已完成。此外，官网还提供了其他实践，感兴趣的小伙伴可以点击前往进行了解并学习。如下：

通过spark-submit命令行工具提交Spark任务

通过Apache Airflow使用Livy Operator提交任务

通过Apache Airflow向EMR Serverless Spark提交任务

通过Jupyter Notebook的sparkmagic插件与Serverless Spark进行交互

在EMR Serverless Spark中实现MaxCompute读写操作

在PySpark程序中使用Python三方库

对比分析

OLAP（On-line Analytical Processing，联机分析处理）引擎是用于分析和查询大规模数据集的计算机处理技术，主要用于多维数据分析和数据挖掘。在市场上，存在多种OLAP引擎，如Apache Kylin、Apache Druid、ClickHouse、Presto、Spark SQL等，每种引擎都有其独特的特点和适用场景。如下我将从几个方面对比下Spark SQL与其他OLAP引擎有何优劣：

优点

功能强大

  • Spark SQL：提供了丰富的SQL接口，支持复杂的查询和数据转换操作。同时，Spark SQL可以与其他Spark组件（如Spark Streaming、Spark MLlib）无缝集成，实现流处理、机器学习等多种功能。
  • OLAP引擎集成：Spark SQL可以与多种OLAP引擎集成，如通过JDBC/ODBC连接Kylin、Druid等，实现数据的快速分析和查询。

性能优越

  • 内存计算：Spark SQL利用内存计算的优势，可以显著提高查询性能。对于大数据集，Spark SQL可以比传统的磁盘I/O操作更快地完成数据分析和查询。
  • 优化器：Spark SQL内置了先进的查询优化器，可以自动优化查询计划，提高查询效率。

可扩展性

  • 分布式处理：Spark SQL支持分布式处理，可以通过增加节点来扩展计算能力，满足大规模数据分析和查询的需求。
  • 资源隔离：在EMR Serverless Spark等环境中，可以实现资源的动态分配和隔离，提高资源利用率和系统的稳定性。

多协议支持

  • JDBC/ODBC：Spark SQL支持JDBC/ODBC协议，方便与其他系统和应用集成。
  • REST API：一些OLAP引擎提供了REST API接口，可以通过HTTP请求与这些引擎交互，实现数据的远程分析和查询。

高效并行

  • 快速响应：由于Spark SQL采用内存计算和分布式处理，可以快速响应用户的查询请求。
  • 并行处理：Spark SQL支持并行处理，可以充分利用多核CPU的计算能力，提高处理效率。

不足

  • 虽然EMR Serverless Spark等环境提供了资源动态分配的功能，但在实际使用中，如何更精确地预测和管理资源需求仍然是一个挑战。

  • 当下对于简单的插入和查询效率并不是很理想，对于一些复杂的查询操作，Spark SQL的查询优化器可能无法完全优化查询计划。此时，需要用户根据具体情况手动调整查询语句或优化查询计划。

  • 虽然Spark SQL支持多种协议和接口与其他系统集成，但在实际部署和配置过程中可能会遇到一些兼容性和配置问题。需要用户具备相应的技术能力和经验来解决这些问题。

  • 对于大规模分布式系统来说，监控和诊断是保障系统稳定性和性能的重要手段。然而，在EMR Serverless Spark等环境中，如何实现对Spark SQL作业和OLAP引擎的实时监控和诊断仍然是一个需要改进的地方。

体验总结

产品体验

  • 在体验EMR Serverless Spark服务的过程中，非常明显的一点感受就是，拥有较为完善的产品内引导和文档帮助体系。官网不仅提供了详尽的入门指南、操作手册和API文档，其文档内容还非常清晰、结构合理，涵盖了从环境搭建、数据接入、任务开发到性能调优的各个环节。这些对于初次接触EMR Serverless Spark的用户来说非常友好。然而，尽管文档已经相当全面，但在某些高级功能和最佳实践方面，我认为还可以进一步加强引导。比如可以通过增加实战案例、视频教程或专家博客等形式，提供更加直观和深入的指导。

  • EMR Serverless Spark在功能方面表现较为出色，基本满足了我的预期。从接入便捷性来看，EMR Serverless Spark支持多种数据源接入，包括云上存储（如OSS、MaxCompute）和本地文件系统，用户只需简单配置即可实现数据的快速导入和导出。在数据开发体验方面，EMR Serverless Spark支持标准的Spark SQL和DataFrame API，开发者可以轻松上手并高效完成数据处理任务。同时，EMR Serverless Spark还提供了丰富的内置函数和UDF（用户自定义函数），进一步增强了数据处理能力。此外，在弹性伸缩方面，EMR Serverless Spark能够根据业务需求自动调整计算资源，实现按需付费和成本优化。当处理任务较重时，EMR Serverless Spark能够自动增加计算节点和内存资源，以确保任务顺利完成；当处理任务较少时，则会自动释放多余资源，以节省成本。

针对业务场景，我认为EMR Serverless Spark在以下几个方面还有改进空间或可以新增更多功能：

  • 增强实时监控与预警功能：虽然EMR Serverless Spark已经提供了基本的监控功能，但建议增加更详细的性能指标监控和实时预警机制，以便用户能够及时发现并处理潜在的性能问题。
  • 优化资源调度算法：在高并发场景下，资源调度算法的优化将直接影响任务的执行效率和响应时间。建议EMR Serverless Spark进一步优化其资源调度算法，确保在高负载情况下仍能保持稳定的性能表现。
  • 增加更多内置数据分析工具：除了基本的数据处理功能外，还可以考虑增加更多内置的数据分析工具，如机器学习算法库、图计算引擎等，以满足用户多样化的数据分析需求。

EMR Serverless Spark与阿里云生态内的其他产品存在广泛的联动组合可能性。以下是我比较期待的几个具体的例子：

  • 与MaxCompute联动：EMR Serverless Spark可以无缝接入MaxCompute数据源，实现冷热数据的分离存储和高效处理。用户可以在EMR Serverless Spark中进行实时或离线的数据处理任务，并将处理结果存储回MaxCompute中，以便后续的分析和挖掘。
  • 与DataWorks联动：EMR Serverless Spark可以与DataWorks数据开发平台进行深度集成。用户可以在DataWorks中设计数据开发流程，并将部分处理任务交由EMR Serverless Spark执行。这种组合方式可以充分发挥DataWorks的流程管理和EMR Serverless Spark的数据处理能力优势，提升整体数据处理效率。
  • 与Quick BI联动：EMR Serverless Spark处理后的数据可以通过Quick BI进行数据可视化展示。Quick BI提供了丰富的图表类型和交互功能，可以帮助用户更好地理解和分析数据。这种组合方式可以使得数据分析结果更加直观和易于理解。

将EMR Serverless Spark与其他服务连接起来，实现数据的快速流动和共享。这种集成能力不仅提高了数据处理效率，还降低了数据孤岛的风险。

在产品体检阶段，唯一让我感到不是很理想的就是，即使是一个很简单的建表和插入数据也是需要花费较长时间的。

实践体验

相较于自建Spark集群，EMR Serverless Spark产品有如下优势：

  • EMR Serverless Spark作为全托管服务，在稳定性方面表现出色。在实际测试中，即使在高并发查询场景下，EMR Serverless Spark依然能够保持良好的性能，响应时间稳定且波动较小。相比之下，自建Spark集群需要额外的硬件购买和维护成本，且在高并发场景下容易出现性能瓶颈和稳定性问题。

  • EMR Serverless Spark的计算性能强大，支持复杂的商业智能查询和大规模数据处理。与自建Spark集群相比，EMR Serverless Spark的响应时间更短，数据查询效率更高。这得益于其高效的资源调度和并行处理能力，能够充分利用云资源，提升数据处理速度。

  • EMR Serverless Spark作为全托管、一站式的数据计算产品，极大地降低了运维成本。企业无需自行购买硬件、建设数据中心和维护集群，只需关注数据分析本身即可。同时，EMR Serverless Spark提供了丰富的运维工具和功能，如任务调度、监控报警等，帮助用户更好地管理和优化数据处理流程。

  • EMR Serverless Spark采用按需付费模式，用户只需支付实际使用的资源费用。这种灵活的定价模型使得EMR Serverless Spark在成本方面具有明显优势。特别是对于那些需要处理大规模数据集但无法准确预测当前和未来工作负载的企业来说，EMR Serverless Spark能够显著降低IT成本。

如果从企业角度来谈，我觉得EMR Serverless Spark能带来的效益和成本主要体现如下：

使用EMR Serverless Spark服务可以给企业带来比较显著的收益。

首先，通过高效的数据分析和业务指标计算，企业能够更准确地了解用户需求和市场动态，从而优化产品功能和提升用户体验。

其次，EMR Serverless Spark降低了IT运维成本，使企业能够将更多资源投入到核心业务的发展中。

最后，EMR Serverless Spark的灵活性和可扩展性使得企业能够轻松应对业务增长和变化带来的挑战。

文章标签：
函数计算
云原生数据仓库AnalyticDB MySQL版
云消息队列 Kafka 版
大数据开发治理平台 DataWorks
云原生大数据计算服务 MaxCompute
对象存储
日志服务
分布式计算
SQL
Spark
Serverless
Java
关键词：
serverless apache spark
函数计算spark
函数计算评测
mapreduce spark
mapreduce apache spark
相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作，开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群：29290019867
建立 Serverless 思维
本课程包括： Serverless 应用引擎的概念， 为开发者带来的实际价值， 以及让您了解常见的 Serverless 架构模式
DreamSpark
目录
相关文章
快乐天天567-40564
|
2月前
|
人工智能 Serverless
《触手可及，函数计算玩转 AI 大模型》体验评测
《触手可及，函数计算玩转 AI 大模型》体验评测
快乐天天567-40564
58 10
扬流
|
24天前
|
SQL 分布式计算 Serverless
EMR Serverless Spark：一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰（绝顶） 演讲实录整理而成
扬流
118 2
打不哭
|
1月前
|
人工智能 弹性计算 运维
触手可及：阿里云函数计算助力AI大模型的评测
阿里云推出的面向AI服务器的功能计算（Functional Computing, FC），专为AI应用提供弹性计算资源。该服务支持无服务器部署、自动资源管理和多语言支持，极大简化了AI应用的开发和维护。本文全面评测了FC for AI Server的功能特性、使用体验和成本效益，展示了其在高效部署、成本控制和安全性方面的优势，并通过具体应用案例和改进建议，展望了其未来发展方向。
打不哭
131 4
HarryHe
|
1月前
|
人工智能 弹性计算 运维
《触手可及，函数计算玩转 AI 大模型》解决方案深度评测
本次评测全面评估了《触手可及，函数计算玩转 AI 大模型》解决方案，涵盖实践原理理解、文档清晰度、部署体验、优势展现及生产环境适用性。方案通过函数计算实现AI大模型的高效部署，但模型加载、性能指标和示例代码等方面需进一步细化。文档需增加步骤细化、FAQ、性能指标和示例代码，以提升用户体验。部署体验方面，建议明确依赖库、权限配置和配置文件模板。优势展现方面，建议增加性能对比、案例研究和成本分析。此外，为满足实际生产需求，建议增强高可用性、监控与日志、安全性和扩展性。
HarryHe
38 2
不游泳的鱼鱼
|
1月前
|
人工智能 弹性计算 自然语言处理
《触手可及，函数计算玩转 AI 大模型》解决方案体验与部署评测
在AI技术快速发展的背景下，大模型正推动各行业的智能化转型。企业为抓住机遇，纷纷寻求部署AI大模型以满足特定业务需求。阿里云函数计算凭借按量付费、卓越弹性和快速交付等优势，为企业提供了高效、安全的AI大模型部署方案。本文将详细介绍阿里云函数计算的技术解决方案及其在文生文、图像生成和语音生成等领域的应用实例，展示其在降低成本、提高效率和增强灵活性方面的显著优势。
不游泳的鱼鱼
57 2
郑小健
|
2月前
|
人工智能 弹性计算 运维
评测报告：《触手可及，函数计算玩转 AI 大模型》解决方案
本次评测聚焦于《触手可及，函数计算玩转 AI 大模型》这一解决方案。该方案旨在通过云上的函数计算服务来简化AI大模型的部署过程，使得用户可以更加便捷地利用这些强大的AI能力。本报告将从实践原理的理解、部署体验、优势展现以及实际应用等四个方面进行综合评估。
郑小健
65 15
1941623231718325
|
1月前
|
人工智能 Serverless 文件存储
《触手可及，函数计算玩转 AI 大模型》解决方案评测报告
该解决方案介绍如何利用阿里云函数计算快速部署AI大模型，通过无服务器架构、文件存储NAS和专有网络VPC实现模型持久化存储与私有网络访问。尽管整体描述清晰，但在技术细节上仍有待完善，建议增加架构图帮助理解。阿里云提供了详尽的部署文档，涵盖从选择模板到调用验证的全过程，适合新手用户。但在VPC和NAS配置上需更多示例指导，并优化报错信息提示。此方案展示了函数计算在降低成本、提升弹性和加速交付方面的优势，但可通过具体性能指标和案例进一步强化。适用于快速探索AI大模型效果、缺乏GPU资源的开发者及希望简化技术门槛的企业。未来版本应在细节描述和优势量化上继续优化。
1941623231718325
56 1
阿里云云原生
|
2月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作，通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库，开发者能够以更低的成本、更高的效率完成复杂的 AI 任务，加速技术落地和应用创新。
阿里云云原生
152 13
三分钟热度的鱼
|
3月前
|
Serverless API 异构计算
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务，让用户能够专注于业务逻辑的编写，而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景，从简单的数据处理到复杂的业务逻辑，实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点，帮助你更好地理解和应用这一服务。
三分钟热度的鱼
68 0
三分钟热度的鱼
|
3月前
|
运维 Serverless 网络安全
函数计算产品使用问题之通过仓库导入应用时无法配置域名外网访问，该如何排查
函数计算产品作为一种事件驱动的全托管计算服务，让用户能够专注于业务逻辑的编写，而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景，从简单的数据处理到复杂的业务逻辑，实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点，帮助你更好地理解和应用这一服务。
三分钟热度的鱼
60 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 2
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 3
    HIVE MapJoin异常问题处理总结
  • 4
    阿里封神-大数据处理技术漫谈
  • 5
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 6
    E-MapReduce启动/停止HBase集群
  • 7
    E-MapReduce集群搭建HAWQ实践
  • 8
    SparkSQL自适应执行
  • 9
    利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
  • 10
    开源大数据周刊-第83期
  • 1
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    85
  • 2
    【赵渝强老师】部署Hadoop的本地模式
    27
  • 3
    EMR Serverless Spark：一站式全托管湖仓分析利器
    118
  • 4
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    259
  • 5
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    122
  • 6
    从数据积累到大模型的智能飞跃，你准备好了吗？
    111
  • 7
    DB-GPT v0.6.0 版本更新，发布六大核心新特性！
    116
  • 8
    云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
    275
  • 9
    阿里云 EMR Serverless Spark 版正式开启商业化
    149
  • 10
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
    441

    • 相关课程

    更多
  • Serverless Develpoer Meetup 课程
  • Serverless 架构在软件研发工程实践方面的价值
  • Serverless 在各行业的实践
  • Serverless 在阿里巴巴的实践
  • Serverless 函数计算架构
  • Serverless 常见架构模式

    • 相关电子书

    更多
  • Hologres Serverless之路：揭秘弹性计算组
  • Serverless开发平台： 让研发效能再提升
  • Serverless 引领云上研发新范式

    • 相关实验场景

    更多
  • 函数计算部署PuLID for FLUX人像写真实现换脸效果
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 函数计算入门-HelloWorld应用开发
  • 函数计算一键部署AI大语言模型并会话
  • 【文生图】一键部署Stable Diffusion基于函数计算
    • 下一篇
    阿里云OSS设置跨域访问