E-MapReduce Serverless Spark 评测

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: E-MapReduce Serverless Spark 评测

跟着文档进行了EMR Serverless Spark的体验,选择了SQL开发快速入门进行体验,主要是参考官方的产品文档

1)在体验过程中是否得到足的产品内引导以及文档帮助?如果没有,还欠缺什么部分?
image.png
创建空间还是比较顺利的,一步一步按照教程,授权什么的,很顺利,没有遇到卡壳的地方,不过等待了4分钟左右状态才变为运行中,这个时间有点久。
image.png
新增任务和发布任务也比较顺利,跟着文档就可以。
image.png
image.png

运行任务也成功了,但是不知道为啥执行了3分多钟,每个任务都执行了1分40多秒,不知道是不是哪里配置有问题。这种图形化的配置任务会让复杂的大数据任务变得容易管理,也容易发生发现其中出现的错误,可以提高工作效率。
在执行最后查询数据库的时候出现了错误
image.png
查不到刚才插入的student表,不知道是不是oss配置有问题,但是查看oss中文件夹是存在的,而且任务是执行成功,这个地方就让我疑惑了,这是有待提高的一个点吧。
image.png
这个错误描述好像是oss中文件丢失了,但是我没有去动过,我希望可以更加准确的指出错误原因,或者告诉我怎么去改正。
2)产品功能是否满足预期?(接入便捷性、数据开发体验、弹性伸缩、其他功能等方面)
我工作中还没有需要这个产品的地方,所以无法更深一步的体验。
3)针对业务场景,您觉得该产品还有哪些可以改进地方或更多的功能?
我觉得改进的点就是错误提示更加明确点。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
2天前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
2天前
|
分布式计算 运维 搜索推荐
立马耀:通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统,驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus,解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%,Milvus 向量检索成本降低75%,支持更大规模数据处理,查询响应提速。
|
3月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
212 15
|
3月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
296 29
|
3月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
4月前
|
缓存 分布式计算 资源调度
Spark 与 MapReduce 的 Shuffle 的区别?
MapReduce 和 Spark 在 Shuffle 过程中有显著区别。MapReduce 采用两阶段模型,中间数据写入磁盘,I/O 开销大;而 Spark 使用基于内存的多阶段执行模型,支持操作合并和内存缓存,减少 I/O。Spark 的 RDD 转换优化减少了 Shuffle 次数,提升了性能。此外,Spark 通过 lineage 实现容错,资源管理更灵活,整体大数据处理效率更高。
|
5月前
|
人工智能 Serverless
解决方案 | 函数计算玩转 AI 大模型评测获奖名单公布!
解决方案 | 函数计算玩转 AI 大模型评测获奖名单公布!
131 7
|
6月前
|
消息中间件 人工智能 弹性计算
《触手可及,函数计算玩转 AI 大模型》解决方案评测
一文带你了解《触手可及,函数计算玩转 AI 大模型》解决方案的优与劣
113 14
|
6月前
|
人工智能 弹性计算 数据可视化
解决方案|触手可及,函数计算玩转 AI 大模型 评测
解决方案|触手可及,函数计算玩转 AI 大模型 评测
89 1
|
7月前
|
SQL 分布式计算 Serverless
EMR Serverless Spark:一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰(绝顶) 演讲实录整理而成
359 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等