开源大数据平台 E-MapReduce-阿里云开发者社区-阿里云

开发者社区> 大数据与机器学习> 开源大数据平台 E-MapReduce

开源大数据平台 E-MapReduce

关注

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

0
今日
1532
内容
11
活动
5354
关注
|
9天前
|
存储 人工智能 自然语言处理
|

基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成(RAG)系统

阿里云向量检索 Milvus 版现已无缝集成于阿里云 PAI 平台,一站式赋能用户构建高性能的检索增强生成(RAG)系统。您可以利用 Milvus 作为向量数据的实时存储与检索核心,高效结合 PAI 和 LangChain 技术栈,实现从理论到实践的快速转化,搭建起功能强大的 RAG 解决方案。

90 0
|
17天前
|
人工智能 自然语言处理 监控
|

通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

本文展示了如何使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

245 2
|
17天前
|
SQL 数据可视化 数据挖掘
|

EMR Notebook 开启公测,提供交互式数据分析平台

EMR Notebook 是一个 Serverless 化的交互式数据分析和探索平台,满足大数据和 AI 融合下的数据处理需求,现已开启免费公测,欢迎体验!

158 3
|
18天前
|
分布式计算 资源调度 Hadoop
|

Apache Hadoop入门指南:搭建分布式大数据处理平台

【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。

72 0
|
30天前
|
存储 人工智能 Cloud Native
|

阿里云向量检索 Milvus 版开启公测,助力企业打造高质量 AI 服务

阿里云向量检索 Milvus 版正式开启公测,诚邀广大开发者及企业用户参与公测,赋能智能检索,解锁 AI 潜能。

401 1
|
1月前
|
SQL 分布式计算 大数据
|

Paimon 与 Spark 的集成(二):查询优化

通过一系列优化,我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%,已基本和 Parquet x Spark 持平,本文对其中的关键优化点进行了详细介绍。

117501 30
|
1月前
|
分布式计算 运维 大数据
|

阿里云 EMR Serverless Spark 版免费邀测中

阿里云 EMR Serverless Spark 版,以 Spark Native Engine 为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与 EMR Serverless Spark 版免费测试,体验 100% 兼容 Spark 的 Serverless 服务:https://survey.aliyun.com/apps/zhiliao/iscizrF54

400 0
|
1月前
|
数据采集 JavaScript 前端开发
|

实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库

实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库

196 0
|
1月前
|
API 开发者
|

1688API接口推荐:1688口令转换真实链接接口

1688平台的item_password接口用于将淘口令短链接转为商品链接。开发者需注册获取API key和secret,通过POST或GET请求接口,输入淘口令代码和参数,返回结果包含商品ID和详细链接。商品详情可进一步通过商品详情接口获取。注意遵守1688平台的规定和条款,确保合法使用API。

19 0
|
1月前
|
机器学习/深度学习 算法 API
|

1688API接口推荐:1688按图搜索拍立淘数据接口

1688API接口推荐:1688按图搜索拍立淘数据接口

296 4
|
3月前
|
云安全 弹性计算 Linux
|

【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定:从入门到精通

【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定:从入门到精通。

848 0
|
3月前
|
存储 人工智能 运维
|

轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践

本文从轻喜到家的历史技术架构与痛点问题、架构升级需求与 OLAP 选型过程、最新技术架构及落地场景应用等方面,详细介绍了轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践经验。

904 0
|
3月前
|
存储 分布式计算 Apache
|

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

64623 1
|
3月前
|
SQL Serverless OLAP
|

实战营|阿里云 x StarRocks 邀你现场体验云上极速湖仓--深圳站

1月20日深圳阿里中心,阿里云 x StarRocks 邀你现场体验云上极速湖仓实战营,从 0-1 轻松上手 StarRocks 湖仓分析。

593 0
我要发布