第3期：自建Hadoop集群 VS 阿里云EMR，差距居然这么大？
2022-01-19
1005
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本期将为大家带来开源大数据平台E-MapReduce与自建Hadoop集群对比，一起来看看吧~
目录
相关文章
|
5月前
|
存储
分布式计算
OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战，基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度，实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度（资源利用率提升至70%）及倚天 ARM 机型搭配 EMR Trino 方案，兼顾性能与成本，支撑数据分析需求，降低算力成本。
385
59
59
|
7月前
|
存储
分布式计算
物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
579
58
58
|
7月前
|
机器学习/深度学习
分布式计算
大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
341
15
15
|
8月前
|
SQL
弹性计算
分布式计算
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。
358
15
15
|
7月前
|
SQL
存储
OLAP
|
7月前
|
SQL
分布式计算
Serverless
|
11月前
|
SQL
存储
缓存
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
940
62
62
|
11月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
453
59
59
|
11月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
548
8
8
|
分布式计算
大数据
MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
145
0
0
热门文章
最新文章
1
阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
2
Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
3
hadoop之 map个数控制
4
Hadoop数据读写原理
5
java类型与Hadoop类型之间的转换
6
mahout demo——本质上是基于Hadoop的分步式算法实现，比如多节点的数据合并，数据排序，网路通信的效率，节点宕机重算，数据分步式存储
7
招募贴：Hadoop专业解决方案招募义务翻译人员
8
HDInsight如何创建Hadoop集群
9
Hadoop MapReduce编程 API入门系列之统计学生成绩版本2（十八）
10
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
1
EMR-Kafka Connect：高效数据迁移的革新实践与应用探索
169
2
深度解析阿里云EMR Serverless StarRocks在OLAP数据分析中的应用场景
328
3
迟来的EMR Serverless Spark评测报告
464
4
DataWorks产品使用合集之是否可以不使用DataWorks进行EMR的调度和DataX数据导入
171
5
带你读《阿里云产品五月刊》——五、阿里云 EMR Serverless Spark 版开启免费公测
242
6
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
724
7
EMR Serverless Spark服务最佳实践测评
242
8
阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
19449
9
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
249
10
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23884