开源大数据平台 E-MapReduce-阿里云开发者社区-阿里云

开发者社区> 大数据与机器学习> 开源大数据平台 E-MapReduce

开源大数据平台 E-MapReduce

关注

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

0
今日
1532
内容
11
活动
5354
关注
|
10月前
|
SQL 分布式计算 运维
|

面向未来的开源 OLAP 技术架构探讨以及选型实践

本文详细介绍了开源大数据OLAP的演化过程和最佳实践。

8817 0
|
18天前
|
人工智能 自然语言处理 监控
|

通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

本文展示了如何使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

247 2
|
4月前
|
存储 人工智能 大数据
|

2023云栖陈守元,阿里云开源大数据产品年度发布

阿里云计算平台事业部开源大数据产品总监陈守元围绕EMR、Flink Streaming Lakehouse、 Elasticsearch、Milvus等产品发布展开分享介绍。

289 2
|
4月前
|
存储 SQL Java
|

王日宇:基于 StarRocks 和 Paimon 打造湖仓分析新范式

本文根据 StarRocks Summit 2023 演讲实录整理而成,主要分享了基于 StarRocks 和 Paimon 打造湖仓分析方案及背后的技术原来和未来规划。

787 0
|
1月前
|
SQL 分布式计算 大数据
|

Paimon 与 Spark 的集成(二):查询优化

通过一系列优化,我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%,已基本和 Parquet x Spark 持平,本文对其中的关键优化点进行了详细介绍。

117505 30
|
11月前
|
SQL 关系型数据库 MySQL
|

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。

11631 4
|
3月前
|
存储 人工智能 运维
|

轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践

本文从轻喜到家的历史技术架构与痛点问题、架构升级需求与 OLAP 选型过程、最新技术架构及落地场景应用等方面,详细介绍了轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践经验。

904 0
|
18天前
|
SQL 数据可视化 数据挖掘
|

EMR Notebook 开启公测,提供交互式数据分析平台

EMR Notebook 是一个 Serverless 化的交互式数据分析和探索平台,满足大数据和 AI 融合下的数据处理需求,现已开启免费公测,欢迎体验!

159 3
|
4月前
|
关系型数据库 MySQL BI
|

用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享

本文从用友畅捷通公司介绍及业务背景;数据仓库技术选型、实际案例及未来规划等方面,分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。

606 0
|
3月前
|
存储 分布式计算 Apache
|

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

64623 1
|
3月前
|
SQL Serverless OLAP
|

实战营|阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

1月20日深圳阿里中心,阿里云 x StarRocks 邀你现场体验云上极速湖仓实战营,从 0-1 轻松上手 StarRocks 湖仓分析。

593 0
|
4月前
|
缓存 运维 Cloud Native
|

李钰:从 OLAP 到湖仓,阿里云与 StarRocks 的共创共荣

本文根据 StarRocks Summit 2023 演讲实录整理而成

420 1
|
11月前
|
SQL 存储 监控
|

水滴筹基于阿里云 EMR StarRocks 实战分享

水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。

5781 3
|
1月前
|
分布式计算 运维 大数据
|

阿里云 EMR Serverless Spark 版免费邀测中

阿里云 EMR Serverless Spark 版,以 Spark Native Engine 为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试,体验 100% 兼容 Spark 的 Serverless 服务:https://survey.aliyun.com/apps/zhiliao/iscizrF54

400 0
|
1月前
|
机器学习/深度学习 算法 API
|

1688API接口推荐:1688按图搜索拍立淘数据接口

1688API接口推荐:1688按图搜索拍立淘数据接口

297 4
|
5月前
|
存储 SQL 缓存
|

【云栖2023】李钰:阿里云 E-MapReduce 全面开启 Serverless 时代

本文根据 2023 云栖大会,阿里云资深技术专家、阿里云开源大数据平台EMR负责人李钰演讲实录整理而成。

304 0
|
7月前
|
SQL 分布式计算 Cloud Native
|

杭州 Meetup| Apache Kyuubi & Celeborn,助力 Spark 拥抱云原生

10月14日13:00-17:30,Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,欢迎报名参会!

719 0
|
7月前
|
存储 弹性计算 资源调度
|

阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性

背景:阿里云E-MapReduce集群(简称EMR集群)部分节点需要下线迁移,但集群资源常年跑满,诉求是节点下线迁移过程中不影响任一任务执行。 本次方案基于Yarn Node Labels的特性进行资源隔离后下线。 下期对官网Graceful Decommission of YARN Nodes的方案进行验证,参考:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/GracefulDecommission.html。

548 1
|
8月前
|
分布式计算 DataWorks 对象存储
|

全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力

阿里云全链路数据湖开发治理解决方案能力持续升级,发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) , 一站式大数据数据开发治理平台DataWorks ,数据湖构建DLF,对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群(on ECS)、自定义集群(on ECS)、Spark集群(on ACK)三种形态,对接阿里云一站式大数据开发治理平台DataWorks,沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。

1284 1
|
8月前
|
存储 Cloud Native 数据挖掘
|

直播|深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

8月17日19点,云原生湖仓线上Meetup,深入解析 StarRocks 存算分离,多位大咖分享,干货满满,快来报名!~

561 1
|
9月前
|
运维 数据挖掘 OLAP
|

上海 Meetup 邀你来|阿里云 × StarRocks 云上StarRocks极速湖仓

7月15日下午14:00-17:00,《上海线下Meetup I 云上StarRocks极速湖仓》,欢迎参加!

481 0
|
5月前
|
存储 人工智能 Cloud Native
|

耳朵经济快速增长背后,喜马拉雅数据价值如何释放 | 创新场景

喜马拉雅和阿里云的合作,正走在整个互联网行业的最前沿,在新的数据底座之上,喜马拉雅的AI、大数据应用也将大放光彩。本文摘自《云栖战略参考》

46467 5
|
7月前
|
SQL 弹性计算 分布式计算
|

使用EMR+DLF+OSS-HDFS进行数据湖分析

本实验通过使用EMR,搭建EMR集群,对OSS-HDFS进行数据湖分析

549 0
|
7月前
|
分布式计算 资源调度 Kubernetes
|

Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

网易数帆软件工程师潘成,在 ASF CommunityOverCode Asia 2023(北京)的分享。

580 0
|
8月前
|
SQL 运维 DataWorks
|

EMR Serverless StarRocks + DataWorks 开启极速分析新体验

EMR Serverless StarRocks + DataWorks ,开启极速分析体验

1003 0
|
10月前
|
JSON API 数据格式
|

python采集速卖通商品列表数据,关键词搜索速卖通列表数据,速卖通API接口

python采集速卖通商品列表数据,关键词搜索速卖通列表数据,速卖通API接口

340 0
|
1月前
|
存储 人工智能 Cloud Native
|

阿里云向量检索 Milvus 版开启公测,助力企业打造高质量 AI 服务

阿里云向量检索 Milvus 版正式开启公测,诚邀广大开发者及企业用户参与公测,赋能智能检索,解锁 AI 潜能。

401 1
|
6月前
|
XML JSON 缓存
|

Json实现根据关键词搜索请求淘宝商品列表数据方法,淘宝商品列表数据接口,淘宝API接口申请指南

Json实现根据关键词搜索请求淘宝商品列表数据方法,淘宝商品列表数据接口,淘宝API接口申请指南

222 0
|
6月前
|

Apache Kyuubi & Celeborn,助力 Spark 拥抱云原生

10月14日14:00-17:30,Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,本次 Meetup 邀请到阿里云、网易数帆、Cisco、丁香园、Shopee 等技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践,助力 Spark 拥抱云原生!讲师/嘉宾简介周克勇(一锤):阿里云 EMR Spark 引擎负责人,Apache Celeborn (Incubating) 的发起人潘成:网易数帆大数据技术专家,Apache Kyuubi PMC Member,Apache Celeborn (Incubating) PPMC Member朱夷(AngersZhuuuu):Shopee 技术专家, Spark PIC。 Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributorHe Zhao:Data Engineer at CiscoPengqi Li:Data Engineer at Cisco陈福:Apache Kyuubi PMC Member / Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人

999 1
|
7月前
|
存储 SQL 监控
|

阿里云“玩转云上 StarRocks3.0 湖仓分析”训练营火热报名中,开启数据分析新范式

阿里云 EMR OLAP 团队与 StarRocks 社区联合出品,玩转云上 StarRocks3.0 湖仓分析训练营,围绕 StarRocks3.0 系列解读、EMR Serverless StarRocks 存算分离功能与应用场景介绍,开启数据分析新范式!

788 0
|
7月前
|
XML JSON 缓存
|

Json实现根据商品ID请求1688商品详情数据方法,1688商品详情API接口,1688API接口申请指南

Json实现根据商品ID请求1688商品详情数据方法,1688商品详情API接口,1688API接口申请指南

278 0
|
7月前
|
XML JSON 缓存
|

Json实现根据商品ID请求京东商品详情数据方法,京东商品详情API接口,京东API接口申请指南

Json实现根据商品ID请求京东商品详情数据方法,京东商品详情API接口,京东API接口申请指南

290 0
|
7月前
|
XML JSON 缓存
|

Json实现根据商品ID请求亚马逊商品详情数据方法,亚马逊商品详情API接口,亚马逊API接口申请指南

Json实现根据商品ID请求亚马逊商品详情数据方法,亚马逊商品详情API接口,亚马逊API接口申请指南

239 0
|
8月前
|
存储 分布式计算 大数据
|

CommunityOverCode Asia 精彩回顾|阿里云开源大数据 EMR 技术实践分享

阿里云开源大数据 EMR 在 CommunityOverCode Asia 的精彩分享。

560 0
|
8月前
|
存储 弹性计算 运维
|

EMR Serverless StarRocks体验报告

本次测评报告我将从功能、稳定性、性能、运维、成本和收益等方面对EMR Serverless StarRocks进行评估,以确保该产品能够满足业务需求并提供有用的参考信息。通过本次测评,我希望能够为用户提供有用的参考信息,帮助他们做出明智的决策。

283 2
|
10月前
|
SQL 运维 安全
|

基于web漏洞扫描及分析系统设计_kaic

随着信息技术的发展和网络应用在我国的普及,针对我国境内信息系统的恶意网络攻击也越来越多,并且随着黑客攻击技术的不断地更新,网络犯罪行为变得越来越难以应对,用户日常访问的网站是否安全对于普通网民而言难以辨别,保护人民不受不法侵害也是难上加难。如何识别网站的潜在危险性,以及网站出现安全性问题该如何防御,尽可能减少网站被攻击后造成的实际损失,是目前迫切需要解决的难题。 本文使用VMware虚拟机技术模拟真实的网络环境,使用渗透测试技术对模拟网络进行薄弱点测试信息收集、攻击测试等,再现了渗透测试的重要流程和技术方法。在对目标主机实施渗透测试时,会从系统层面和Web层面两个维度进行测试,扫描出存在的漏洞

223 0
|
11月前
|
存储 分布式计算 Kubernetes
|

带你读《2022年开源大数据热力报告》——热力趋势三:云原生大规模重构开源技术栈

带你读《2022年开源大数据热力报告》——热力趋势三:云原生大规模重构开源技术栈

232 0
|
1月前
|
数据采集 JavaScript 前端开发
|

实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库

实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库

196 0
|
3月前
|
云安全 弹性计算 Linux
|

【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定:从入门到精通

【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定:从入门到精通。

849 0
|
4月前
|
存储 运维 数据可视化
|

【技术分析】低代码平台的专有存储技术

低代码是一个新兴的技术,有着非常明确而鲜明的技术特点,比如:拖拽组件、可视化编程、零代码编程等等。但传统软件企业在进行技术融合时却往往是困难重重,旧有的技术积累很难能继承应用过来。本文作为一组技术分析,来逐一分解低代码背后的支撑技术。今天我们给大家带来的一个专题分析是,低代码平台的专有存储技术。

367 0
|
6月前
|
存储 OLAP 云栖大会
|

来云栖大会看 “ 云+StarRocks 3.0:极速统一的湖仓新范式 ”

2023 云栖大会来啦,众多主题活动与你同聚,门票免费领取中,数量有限,先到先得!

412 0
我要发布