E-MapReduce Serverless Spark 评测

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: E-MapReduce Serverless Spark 评测

跟着文档进行了EMR Serverless Spark的体验,选择了SQL开发快速入门进行体验,主要是参考官方的产品文档

1)在体验过程中是否得到足的产品内引导以及文档帮助?如果没有,还欠缺什么部分?
image.png
创建空间还是比较顺利的,一步一步按照教程,授权什么的,很顺利,没有遇到卡壳的地方,不过等待了4分钟左右状态才变为运行中,这个时间有点久。
image.png
新增任务和发布任务也比较顺利,跟着文档就可以。
image.png
image.png

运行任务也成功了,但是不知道为啥执行了3分多钟,每个任务都执行了1分40多秒,不知道是不是哪里配置有问题。这种图形化的配置任务会让复杂的大数据任务变得容易管理,也容易发生发现其中出现的错误,可以提高工作效率。
在执行最后查询数据库的时候出现了错误
image.png
查不到刚才插入的student表,不知道是不是oss配置有问题,但是查看oss中文件夹是存在的,而且任务是执行成功,这个地方就让我疑惑了,这是有待提高的一个点吧。
image.png
这个错误描述好像是oss中文件丢失了,但是我没有去动过,我希望可以更加准确的指出错误原因,或者告诉我怎么去改正。
2)产品功能是否满足预期?(接入便捷性、数据开发体验、弹性伸缩、其他功能等方面)
我工作中还没有需要这个产品的地方,所以无法更深一步的体验。
3)针对业务场景,您觉得该产品还有哪些可以改进地方或更多的功能?
我觉得改进的点就是错误提示更加明确点。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
64 2
|
21天前
|
SQL 分布式计算 Serverless
EMR Serverless Spark:一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰(绝顶) 演讲实录整理而成
112 2
|
2月前
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!
147 3
阿里云 EMR Serverless Spark 版正式开启商业化
|
4月前
|
分布式计算 Serverless Spark
【开发者评测】E-MapReduce Serverless Spark获奖名单
E-MapReduce Serverless Spark获奖名单正式公布!
180 1
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
203 0
|
6月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
76 1
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
88 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
63 1
|
5月前
|
数据采集 SQL 分布式计算
|
6月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
70 1