开源大数据平台 E-MapReduce-产品问答-汇集知识碎片解决技术难题-阿里云开发者社区-阿里云

开发者社区> 大数据和机器学习> 开源大数据平台 E-MapReduce
开源大数据平台 E-MapReduce
关注
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
73
今日
1344
内容
9
活动
5193
关注
《2022年开源大数据热力报告》——研究目标和研究模型
《2022年开源大数据热力报告》——研究目标和研究模型
21 0
|
8天前
|
《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱
《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱
19 0
|
8天前
|
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势一:用户需求多样化推动技术多元化
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势一:用户需求多样化推动技术多元化
17 0
|
8天前
|
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势二:一体化演进迈入2.0时代
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势二:一体化演进迈入2.0时代
16 0
|
8天前
|
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势三:云原生大规模重构开源技术栈
《2022年开源大数据热力报告》——热力趋势:多元化、一体化、云原生——热力趋势三:云原生大规模重构开源技术栈
23 0
|
8天前
|
《2022年开源大数据热力报告》——热力值TOP30和热力跃迁逻辑研究——开源大数据项目热力TOP30
《2022年开源大数据热力报告》——热力值TOP30和热力跃迁逻辑研究——开源大数据项目热力TOP30
19 0
|
8天前
|
《2022年开源大数据热力报告》——热力值TOP30和热力跃迁逻辑研究——TOP项目热力跃迁逻辑研究
《2022年开源大数据热力报告》——热力值TOP30和热力跃迁逻辑研究——TOP项目热力跃迁逻辑研究
21 0
猿辅导基于 EMR StarRocks 的 OLAP 演进之路
猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。
10023 4
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
305 1
|
23天前
|
水滴筹基于阿里云 EMR StarRocks 实战分享
水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。
4785 3
|
28天前
|
阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”
阿里云首创并推动的智能数据湖解决方案因“引领业界技术上创新”入选第六届数字中国建设峰会的“十大硬核科技”,这也是历届峰会中首次有数据湖产品入选。智能数据湖是阿里云在大数据和 AI 融合的时代背景下推出,底层融合存储和计算全新技术体系,业务侧融合多元计算,对接数据科学计算引擎。支撑在线教育、互联网广告、新媒体、网络游戏等近万家行业用户在快速发展过程中的业务需求,为企业数字化转型提供源动力。
240 1
免费公测|阿里云EMR Serverless StarRocks 公测正式开启!
阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。
1523 1
|
2月前
| |
北京 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓
4月19日(周三)下午,水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家,将针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容,为大家带来诚意满满的技术盛宴。
378 0
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
48146 3
|
3月前
|
阿里云EMR自定义日志投递与使用实践分享
EMR目前支持了日志管理,即日志客户SLS投递的功能,基于此功能,客户可以将需要的各种大数据组件日志收集到自身SLS中,做查询和分析。基于此功能,客户可以自定义日志路径、规则,对集群设备上的日志自行接收和消费。本文以采集指标文件为例,帮助您快速上手自定义日志投递与使用。
157 0
通过云监控CloudMonitor实时捕获EMR集群的状态变化
通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。
6307 1
数据湖存储的安全写入之道
本文以 Hadoop 社区中的 S3A Connector 的实现为切入,分析了数据湖写入路径的安全性。
10932 4
基于阿里云 CloudMonitor云监控自定义监控大盘对 EMR 自定义监控实践
本文旨在分享 EMR 平台大数据服务基于阿里云 CloudMonitor 的监控实践,给客户提供除了 EMR 平台默认监控以外,自建监控方式,适用于统一多个阿里云服务的监控监控场景。
245 1
|
3月前
| |
阿里云EMR 2.0:定义下一代云原生智能数据湖
本次分享主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素:全托管,湖存储;一站式,湖管理;多模态,湖计算。
29110 0
阿里云 EMR 基于 Apache DolphinScheduler 产品技术实践和社区贡献
本文整理自阿里云 EMR 数据开发团队负责人孙一凡(Evans 忆梵),在 Apache Spark & DS Meetup 的分享
324 1
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
8921 5
开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化
在本篇文章中,我们将介绍大数据集群领域所需的可观测性,实践大数据集群可观测所需要的条件和面临的挑战,以及阿里云EMR 产品如何通过 EMR Doctor 实现大数据可观测并向用户提供相关能力。
16614 4
阿里云EMR 2.0:兼容开源,贡献开源,超越开源
本文整理自阿里云资深技术专家吴威(无谓)在 阿里云EMR2.0线上发布会 的分享。本文从开源的角度出发,分享了阿里云EMR团队的工作。
481 0
基于数据湖格式构建流式增量数仓—CDC
该文章内容源于 Apache Con ASIA 2022上的分享,整理归纳成文章。
14359 4
阿里云EMR2.0平台:让大数据更简单
作为国内开源大数据领域的引领者,EMR2.0在平台体验、数据开发、产品形态及数据分析等方面做了全面突破与创新,重新定义了新一代开源大数据平台。本文介绍如何利用EMR新平台实现更加低成本、高效率、智能化的大数据集群管控和应用开发。
416 0
StarRocks 2.5 LTS 版本新特性介绍及阿里云EMR Serverless StarRocks火热邀测中
StarRocks 2.5 LTS 版本于近期发布,阿里云EMR Serverless StarRocks也在火热邀测中。本文将重点介绍StarRocks 2.5版本核心功能以及阿里云EMR Serverless StarRocks特性。
394 0
Spark+Celeborn:更快,更稳,更弹性
本文整理自阿里云 EMR Spark 团队的周克勇(一锤),在 Spark&DS Meetup 的分享。
66998 0
Spark+Celeborn:更快,更稳,更弹性
本文整理自阿里云 EMR Spark 团队的周克勇(一锤),在 Spark&DS Meetup 的分享。
336 0
阿里云EMR 2.0:重新定义新一代开源大数据平台
本次分享主要介绍了阿里云E-MapReduce的开发历程,EMR 2.0的新特性、产品架构,以及EMR 2.0在平台体验、数据开发、资源形态及分析场景等方面的全面突破与创新,重新定义新一代开源大数据平台。
1056 0
直播预约|Apache Spark + DolphinScheduler Meetup 1月11日正式上线
洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup 将于 1 月 11 日在线上举办
76 1
阿里云开源大数据平台升级EMR2.0发布 性能最高可提升6倍
阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。
356 0
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
Apache Spark Meetup | 1 月线上直播报名通道已开启,赶快报名预约吧!
264 0
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
Apache Spark Meetup | 1 月线上直播报名通道已开启,赶快报名预约吧!
387 0
大数据上云存算分离演进思考与探讨-2022
当前大数据上云与存算分离的技术趋势越来越成为行业标准与发展方向。作为大数据商业化的践行者,从存算分离的演进/定义/价值/架构应用/实践/对比等多个维度来分析与探讨其发展历程与组成体系。为大数据存算分离技术整体发展添砖加瓦。
1191 1
阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。
436 0
直播预约|阿里云EMR 2.0 重磅发布
面向未来,构建新一代开源大数据基础设施!阿里云EMR 2.0 发布会 将于12月27日14点在线上举办。
247 0
|
6月前
| |
技术内幕 | 阿里云EMR StarRocks 极速数据湖分析
本文为作者在 StarRocks Summit Asia 2022 上的分享
385 0
直播预告|数据仓库?数据湖?停止纠结,流批融合的极速 Lakehouse来了!
无需数据导入,即可体验性能堪比数仓的数据湖分析!2022年12月8日19点,StarRocks Lakehouse Meetup - 极速湖仓分析技术专场线上直播重磅开启,精彩不容错过!
271 0
|
7月前
| |
EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践
本文详细介绍了 EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践。
1612 1
Spark on k8s 在阿里云 EMR 的优化实践
本文整理自阿里云技术专家范佚伦在7月17日阿里云数据湖技术专场交流会的分享。
669 0
基于 Delta Lake 构建数据湖仓体系
本文整理自阿里云开源大数据平台技术专家毕岩在7月17日阿里云数据湖技术专场交流会的分享。
253 0
|
9月前
| |
基于EMR的新一代数据湖存储加速技术详解
本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。
270 0
数据湖管理及优化
本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。
692 0
EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor,有效提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。
2162 0
数据湖统一元数据与权限
本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。
819 0
数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
1148 0
2022世界人工智能大会大模型主题论坛星光云集,共话大模型的创新与生态发展!
本次“大规模预训练模型”主题论坛由阿里巴巴集团主办,世界人工智能大会组委会指导,整体围绕“大规模预训练模型的创新、落地和开源开放”展开,将探讨的边界延伸至算法模型、大数据及训练框架等方向,邀请到来自阿里巴巴,澜舟科技,清华大学,粤港澳大湾区数字经济研究院,深势科技,复旦大学等机构,在大规模预训练模型领域深耕多年的领军人物,通过keynote演讲和圆桌论坛两个环节,展示国产大模型多元生态下的技术成果和思考。
1379 0
重磅发布!阿里云全链路数据湖开发治理解决方案
阿里云重磅发布全链路数据湖解决方案,主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。
1711 4
免费下载!《Databricks数据洞察:从入门到实践》
本书从技术基础介绍到场景应用实践,帮助读者入门数据湖Lakehouse以及部分spark相关应用。
288 0
我要发布