开发者社区> 大数据与机器学习> 开源大数据平台 E-MapReduce

开源大数据平台 E-MapReduce

关注

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

0
今日
1617
内容
12
活动
5396
关注
|
存储 人工智能 Cloud Native
|

耳朵经济快速增长背后,喜马拉雅数据价值如何释放 | 创新场景

喜马拉雅和阿里云的合作,正走在整个互联网行业的最前沿,在新的数据底座之上,喜马拉雅的AI、大数据应用也将大放光彩。本文摘自《云栖战略参考》

46847 5
|
存储 OLAP 云栖大会
|

来云栖大会看 “ 云+StarRocks 3.0:极速统一的湖仓新范式 ”

2023 云栖大会来啦,众多主题活动与你同聚,门票免费领取中,数量有限,先到先得!

486 0
|
XML JSON 缓存
|

Json实现根据关键词搜索请求淘宝商品列表数据方法,淘宝商品列表数据接口,淘宝API接口申请指南

Json实现根据关键词搜索请求淘宝商品列表数据方法,淘宝商品列表数据接口,淘宝API接口申请指南

264 0
|
SQL 分布式计算 Cloud Native
|

杭州 Meetup| Apache Kyuubi & Celeborn,助力 Spark 拥抱云原生

10月14日13:00-17:30,Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,欢迎报名参会!

818 0
|
存储 SQL 监控
|

阿里云“玩转云上 StarRocks3.0 湖仓分析”训练营火热报名中,开启数据分析新范式

阿里云 EMR OLAP 团队与 StarRocks 社区联合出品,玩转云上 StarRocks3.0 湖仓分析训练营,围绕 StarRocks3.0 系列解读、EMR Serverless StarRocks 存算分离功能与应用场景介绍,开启数据分析新范式!

875 0
|
数据库 数据安全/隐私保护
|

阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案

社区开源Ldap密码不安全问题解决方案

548 0
|
SQL 弹性计算 分布式计算
|

使用EMR+DLF+OSS-HDFS进行数据湖分析

本实验通过使用EMR,搭建EMR集群,对OSS-HDFS进行数据湖分析

752 0
|
分布式计算 Java API
|

阿里云E-MapReduce集群不同计算引擎sleep task使用笔记

需求:日常在E-MapReduce集群中进行相关测试,验证一些切换或变更是否会影响业务的运行导致任务failed。所以需要在测试集群中运行指定资源数(vcore及memory)或者指定运行时间的任务。 目前用到MapReduce和spark任务两种,其余的持续更新补充中……

509 0
|
存储 弹性计算 资源调度
|

阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性

背景:阿里云E-MapReduce集群(简称EMR集群)部分节点需要下线迁移,但集群资源常年跑满,诉求是节点下线迁移过程中不影响任一任务执行。 本次方案基于Yarn Node Labels的特性进行资源隔离后下线。 下期对官网Graceful Decommission of YARN Nodes的方案进行验证,参考:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/GracefulDecommission.html。

678 1
|
XML JSON 缓存
|

Json实现根据商品ID请求天猫商品详情数据方法,天猫商品详情API接口,天猫API接口申请指南

Json实现根据商品ID请求天猫商品详情数据方法,天猫商品详情API接口,天猫API接口申请指南

525 1
|
XML JSON 缓存
|

Json实现根据商品ID请求淘宝商品详情数据方法,淘宝商品详情API接口,淘宝API接口申请指南

Json实现根据商品ID请求淘宝商品详情数据方法,淘宝商品详情API接口,淘宝API接口申请指南

353 0
|
XML JSON 缓存
|

Json实现根据商品ID请求1688商品详情数据方法,1688商品详情API接口,1688API接口申请指南

Json实现根据商品ID请求1688商品详情数据方法,1688商品详情API接口,1688API接口申请指南

330 0
|
XML JSON 缓存
|

Json实现根据商品ID请求京东商品详情数据方法,京东商品详情API接口,京东API接口申请指南

Json实现根据商品ID请求京东商品详情数据方法,京东商品详情API接口,京东API接口申请指南

331 0
|
XML JSON 缓存
|

Json实现根据商品ID请求唯品会商品详情数据方法,唯品会商品详情API接口,唯品会API接口申请指南

Json实现根据商品ID请求唯品会商品详情数据方法,唯品会商品详情API接口,唯品会API接口申请指南

288 0
|
XML JSON 缓存
|

Json实现根据商品ID请求阿里巴巴商品详情数据方法,阿里巴巴商品详情API接口,阿里巴巴API接口申请指南

Json实现根据商品ID请求阿里巴巴商品详情数据方法,阿里巴巴商品详情API接口,阿里巴巴API接口申请指南

255 0
|
XML JSON 缓存
|

Json实现根据商品ID请求亚马逊商品详情数据方法,亚马逊商品详情API接口,亚马逊API接口申请指南

Json实现根据商品ID请求亚马逊商品详情数据方法,亚马逊商品详情API接口,亚马逊API接口申请指南

332 0
|
XML JSON 缓存
|

Json实现根据商品ID请求易贝商品详情数据方法,ebay商品详情API接口,易贝API接口申请指南

Json实现根据商品ID请求易贝商品详情数据方法,ebay商品详情API接口,易贝API接口申请指南

294 0
|
XML JSON 缓存
|

Json实现根据商品ID请求微店商品详情数据方法,微店商品详情API接口,微店API接口申请指南

Json实现根据商品ID请求微店商品详情数据方法,微店商品详情API接口,微店API接口申请指南

281 0
|
XML JSON 缓存
|

Json实现根据商品ID请求速卖通商品详情数据方法,速卖通商品详情API接口,速卖通API接口申请指南

Json实现根据商品ID请求速卖通商品详情数据方法,速卖通商品详情API接口,速卖通API接口申请指南

257 0
|
XML JSON 缓存
|

Json实现根据商品ID请求lazada商品详情数据方法,lazada商品详情API接口,lazadaAPI接口申请指南

Json实现根据商品ID请求lazada商品详情数据方法,lazada商品详情API接口,lazadaAPI接口申请指南

247 0
|
XML JSON 缓存
|

Json实现根据商品ID请求拼多多商品详情数据方法,拼多多商品详情API接口,拼多多API接口申请指南

Json实现根据商品ID请求拼多多商品详情数据方法,拼多多商品详情API接口,拼多多API接口申请指南

244 0
|
分布式计算 资源调度 Kubernetes
|

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

网易数帆软件工程师潘成,在 ASF CommunityOverCode Asia 2023(北京)的分享。

738 0
|
SQL 运维 DataWorks
|

EMR Serverless StarRocks + DataWorks 开启极速分析新体验

EMR Serverless StarRocks + DataWorks ,开启极速分析体验

1113 0
|
存储 分布式计算 大数据
|

CommunityOverCode Asia 精彩回顾|阿里云开源大数据 EMR 技术实践分享

阿里云开源大数据 EMR 在 CommunityOverCode Asia 的精彩分享。

642 0
|
分布式计算 DataWorks 对象存储
|

全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力

阿里云全链路数据湖开发治理解决方案能力持续升级,发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) , 一站式大数据数据开发治理平台DataWorks ,数据湖构建DLF,对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群(on ECS)、自定义集群(on ECS)、Spark集群(on ACK)三种形态,对接阿里云一站式大数据开发治理平台DataWorks,沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。

1509 1
|
存储 Cloud Native 数据挖掘
|

直播|深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

8月17日19点,云原生湖仓线上Meetup,深入解析 StarRocks 存算分离,多位大咖分享,干货满满,快来报名!~

639 1
|
存储 弹性计算 运维
|

EMR Serverless StarRocks体验报告

本次测评报告我将从功能、稳定性、性能、运维、成本和收益等方面对EMR Serverless StarRocks进行评估,以确保该产品能够满足业务需求并提供有用的参考信息。通过本次测评,我希望能够为用户提供有用的参考信息,帮助他们做出明智的决策。

461 58
|
SQL 分布式计算 监控
|

EMR Workflow 开启公测,100%兼容开源 Apache DolphinScheduler

EMR Workflow 是一个全托管的工作流和任务调度服务,100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。

685 1
|
运维 数据挖掘 OLAP
|

上海 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓

7月15日下午14:00-17:00,《上海线下Meetup I 云上StarRocks极速湖仓》,欢迎参加!

577 0
|
Ubuntu Linux
|

centos ubuntu 自动安装 gcc12 g++12 make4 cmake3.2

自动适配编译安装

837 0
|
存储 SQL 数据可视化
|

EMR Serverless StarRocks 5000CU*时免费试用——体验极致性能和全面 OLAP 分析

EMR Serverless StarRocks 5000CU*H 计算资源,48000GB*H存储资源免费试用进行中,提供极致的性能和丰富的 OLAP 场景模型,包括 OLAP 多维分析、数据湖分析、高并发查询以及实时数据分析,快来体验吧!

1515 0
|
SQL 运维 安全
|

基于web漏洞扫描及分析系统设计_kaic

随着信息技术的发展和网络应用在我国的普及,针对我国境内信息系统的恶意网络攻击也越来越多,并且随着黑客攻击技术的不断地更新,网络犯罪行为变得越来越难以应对,用户日常访问的网站是否安全对于普通网民而言难以辨别,保护人民不受不法侵害也是难上加难。如何识别网站的潜在危险性,以及网站出现安全性问题该如何防御,尽可能减少网站被攻击后造成的实际损失,是目前迫切需要解决的难题。 本文使用VMware虚拟机技术模拟真实的网络环境,使用渗透测试技术对模拟网络进行薄弱点测试信息收集、攻击测试等,再现了渗透测试的重要流程和技术方法。在对目标主机实施渗透测试时,会从系统层面和Web层面两个维度进行测试,扫描出存在的漏洞

299 0
|
SQL 分布式计算 运维
|

面向未来的开源 OLAP 技术架构探讨以及选型实践

本文详细介绍了开源大数据OLAP的演化过程和最佳实践。

9590 1
|
SQL 运维 监控
|

开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍

本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。 主要包括四个部分,第一部分介绍 StarRocks 全托管形态,以及免运维服务的 OLAP 云产品;第二部 分介绍 StarRocksManager 的实例管理、诊断分析、元数据管理、安全中心等功能;第三部分介绍 在社交、在线教育、电商等场景的使用案例;最后是对产品的长短期规划。

6908 0
|
分布式计算 算法 数据可视化
|

带你读《2022年开源大数据热力报告》——研究目标和研究模型

带你读《2022年开源大数据热力报告》——研究目标和研究模型

356 0
|
存储 数据可视化 大数据
|

带你读《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱

带你读《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱

280 0
|
存储 分布式计算 数据可视化
|

带你读《2022年开源大数据热力报告》——热力趋势一:用户需求多样化推动技术多元化

带你读《2022年开源大数据热力报告》——热力趋势一:用户需求多样化推动技术多元化

197 0
|
存储 运维 分布式计算
|

带你读《2022年开源大数据热力报告》——热力趋势二:一体化演进迈入2.0时代

带你读《2022年开源大数据热力报告》——热力趋势二:一体化演进迈入2.0时代

247 0
|
存储 分布式计算 Kubernetes
|

带你读《2022年开源大数据热力报告》——热力趋势三:云原生大规模重构开源技术栈

带你读《2022年开源大数据热力报告》——热力趋势三:云原生大规模重构开源技术栈

288 0
|
大数据
|

带你读《2022年开源大数据热力报告》——开源大数据项目热力TOP30

带你读《2022年开源大数据热力报告》——开源大数据项目热力TOP30

163 0
|
机器学习/深度学习 存储 SQL
|

带你读《2022年开源大数据热力报告》——TOP项目热力跃迁逻辑研究

带你读《2022年开源大数据热力报告》——TOP项目热力跃迁逻辑研究

216 0
|
SQL 关系型数据库 MySQL
|

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。

12142 4
|
存储 运维 资源调度
|

阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊

开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。

678 1
|
SQL 存储 监控
|

水滴筹基于阿里云 EMR StarRocks 实战分享

水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。

6258 3
|
存储 机器学习/深度学习 人工智能
|

阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”

阿里云首创并推动的智能数据湖解决方案因“引领业界技术上创新”入选第六届数字中国建设峰会的“十大硬核科技”,这也是历届峰会中首次有数据湖产品入选。智能数据湖是阿里云在大数据和 AI 融合的时代背景下推出,底层融合存储和计算全新技术体系,业务侧融合多元计算,对接数据科学计算引擎。支撑在线教育、互联网广告、新媒体、网络游戏等近万家行业用户在快速发展过程中的业务需求,为企业数字化转型提供源动力。

886 1
|
存储 人工智能 运维
|

免费公测|阿里云EMR Serverless StarRocks 公测正式开启!

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。

6630 1
|
数据挖掘 OLAP
|

北京 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓

4月19日(周三)下午,水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家,将针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容,为大家带来诚意满满的技术盛宴。

834 0
|
存储 分布式计算 运维
|

阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊

开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。

48548 4
|
SQL 分布式计算 监控
|

阿里云EMR自定义日志投递与使用实践分享

EMR目前支持了日志管理,即日志客户SLS投递的功能,基于此功能,客户可以将需要的各种大数据组件日志收集到自身SLS中,做查询和分析。基于此功能,客户可以自定义日志路径、规则,对集群设备上的日志自行接收和消费。本文以采集指标文件为例,帮助您快速上手自定义日志投递与使用。

427 1
|
SQL JSON 分布式计算
|

通过云监控CloudMonitor实时捕获EMR集群的状态变化

通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。

6655 2
我要发布