AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

E-MapReduce产品探秘，扩展开源生态云上的能力

2019-07-08 700
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： E-MapReduce的产品能力介绍，通过EMR来构建高效的云上大数据平台，优化云上的使用成本，更快的计算效率。

搜群号：21784001

或点击# 直播间直达链接：
https://tianchi.aliyun.com/course/live?spm=5176.12282029.0.0.63f71096ujZCrO&liveId=41061

主题：

E-MapReduce产品探秘，扩展开源生态云上的能力

讲师：

夏立，花名雷飙 ，阿里巴巴计算平台EMR高级产品专家，2014年开始接触大数据，历经阿里内部的大数据发展，目前在阿里云上负责开源的大数据平台EMR产品，构建云上的开源生态。

时间：

2019/7/10 19:00

介绍：

E-MapReduce的产品能力介绍，通过EMR来构建高效的云上大数据平台，优化云上的使用成本，更快的计算效率。

IMG_6672

文章标签：
开源大数据平台 E-MapReduce
云原生大数据计算服务 MaxCompute
关键词：
mapreduce产品
开源大数据平台 E-MapReduce产品
mapreduce开源
开源大数据平台 E-MapReduce开源
mapreduce产品开源
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
芯在这
|
5月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中，在MapReduce作业中指定两个表的所有分区如何解决
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
芯在这
61 0
aliyun4381607004
|
数据库 数据安全/隐私保护
阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
社区开源Ldap密码不安全问题解决方案
aliyun4381607004
539 0
扬流
|
存储 运维 资源调度
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。
扬流
665 1
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
扬流
|
存储 分布式计算 运维
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。
扬流
48530 4
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊
扬流
|
SQL 弹性计算 分布式计算
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
开源大数据平台 EMR 产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。
扬流
10163 8
阿里云开源大数据平台E-MapReduce 产品新动态及开源大数据前沿技术分享 2023-2月刊
扬流
|
SQL 运维 监控
开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍
本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。 主要包括四个部分，第一部分介绍 StarRocks 全托管形态，以及免运维服务的 OLAP 云产品；第二部 分介绍 StarRocksManager 的实例管理、诊断分析、元数据管理、安全中心等功能；第三部分介绍 在社交、在线教育、电商等场景的使用案例；最后是对产品的长短期规划。
扬流
6870 0
诸葛子房
|
5月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
诸葛子房
69 1
NorthS
|
4月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头，且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明，但假设读者已具备基础操作技能。此外，还提到一个扩展练习，通过分区功能将具有相同尾数的数字分组到不同文件。
NorthS
47 1
听风de歌
|
4月前
|
数据采集 SQL 分布式计算
Hadoop性能优化MapReduce任务中的小文件问题
【6月更文挑战第4天】
听风de歌
79 3
月亮给我抄代码
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3，针对三台4核4G服务器的MapReduce调优参数包括：`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle，`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
月亮给我抄代码
54 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 2
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 3
    JindoFS概述：云原生的大数据计算存储分离方案
  • 4
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 5
    从数砖开源 Delta Lake 说起
  • 6
    开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • 7
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 8
    Apache Spark + Intel Analytics Zoo 进行深度学习
  • 9
    使用E-MapReduce服务将Kafka数据导入OSS
  • 10
    Apache Flink : Checkpoint 原理剖析与应用实践
  • 1
    云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
    68
  • 2
    阿里云 EMR Serverless Spark 版正式开启商业化
    49
  • 3
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
    39
  • 4
    阿里云 EMR StarRocks 在七猫的应用和实践
    145
  • 5
    EMR Serverless StarRocks体验测评
    40
  • 6
    EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
    157
  • 7
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
    74
  • 8
    迟来的EMR Serverless Spark评测报告
    210
  • 9
    DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
    95
  • 10
    EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
    368

    • 相关课程

    更多
  • Hadoop 分布式计算框架 MapReduce
  • E-MapReduce入门
  • E-MapReduce入门课程
  • 快速掌握阿里云 E-MapReduce
  • 企业级互联网分布式系统应用架构学习
  • 降本增效实战利器 - Serverless 应用引擎

    • 相关电子书

    更多
  • 大数据解决方案构建详解 以阿里云E-MapReduce为例
  • 《E-MapReduce on ACK 全新发布，助力企业高效构建大数据平台》
  • 基于E-MapReduce梨视频推荐系统

    • 相关实验场景

    更多
  • 在SAE控制台极速部署个人LLM效能工具
  • 体验PolarDB-X透明分布式
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 倚天大数据电商数据分析快速实践
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
    • 下一篇
    无影云桌面