第3期：自建Hadoop集群 VS 阿里云EMR，差距居然这么大？
2022-01-19
939
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本期将为大家带来开源大数据平台E-MapReduce与自建Hadoop集群对比，一起来看看吧~
目录
相关文章
|
1月前
|
机器学习/深度学习
分布式计算
大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
154
15
15
|
20天前
|
存储
分布式计算
物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
128
2
2
|
11天前
|
SQL
存储
OLAP
|
11天前
|
SQL
分布式计算
Serverless
|
2月前
|
SQL
弹性计算
分布式计算
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。
149
15
15
|
5月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
403
8
8
|
5月前
|
SQL
存储
缓存
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
560
6
6
|
5月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
211
3
3
|
6月前
|
SQL
分布式计算
Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
249
3
3
|
5月前
|
分布式计算
Kubernetes
Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
277
6
6
热门文章
最新文章
1
【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
2
从Excel到Hadoop：数据规模的进化之路
3
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
4
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
5
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
6
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
7
MPP 架构与 Hadoop 架构技术选型指南
8
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
9
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
10
Hadoop大象之旅009-通过Shell操作hdfs
1
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
15
2
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
22
3
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
128
4
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
154
5
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
149
6
EMR Serverless StarRocks 全面升级：重新定义实时湖仓分析
91
7
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
89
8
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
81
9
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
117
10
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
681