备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

Hadoop Job committer 的演化和发展

发布者：开发者说 2020-03-03 13:48:08 637
开发者说
+关注
视频介绍

Job Committer是Mapreduce/Spark等分布式计算框架的重要组成部分，为分布式任务的写入提供一致性的保证，本次分享主要介绍Job Committer的演进历史，以及社区和EMR在S3/OSS等云存储上的最新进展。

讲师介绍

李呈祥，花名司麟 ，阿里云智能EMR团队高级技术专家，Apache Hive Committer， Apache Flink Committer，目前主要专注于EMR产品中开源计算引擎的优化工作。

关键词：
hadoop主机名
hadoop扩展
hadoop节点
hadoop解析
hadoop配置
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
阿里封神谈hadoop生态学习之路
48538
JindoFS: 云上大数据的高性能数据湖存储方案
16087
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
13355
JindoFS解析 - 云上大数据高性能数据湖存储方案
14399
基于Alluxio系统的Spark DataFrame高效存储管理技术
12167
阿里封神-大数据处理技术漫谈
11691
JindoFS概述：云原生的大数据计算存储分离方案
22636
5W1H(六何分析法)全景洞察大数据
10946
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
10439
HBase写性能优化
8085
展开全部
阿里云E-MapReduce读写 oss 文件时，api 的调用次数和文件层级有关系吗？
16
阿里云共享块存储和NAS还有OSS的区别是什么呀
7559
阿里云E-MapReduce这个CU用完啦 需要购买吗？
15
请问hive 的hive-site.xml文件在哪啊
1471
大佬，可以请教下，有没有遇到 com.aliyun.oss
970
阿里云E-MapReduce中Nootbook什么时候可以上文件夹功能？
13
阿里云E-MapReduce公司最近Presto所在的服务器，请问这种问题各位有遇到过吗？
33
阿里云E-MapReduce后期可能会做类似jupyterhub的账户隔离管理的工作吗？
12
阿里云E-MapReduce这是什么问题啊？
12
EMR中如何申请开通doctor，添了表格好像没有打电话？
117
展开全部
+关注
开发者说
文章
问答
视频
来源圈子
更多
阿里云E-MapReduce
2323
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    Hadoop集群（第10期副刊）_常用MySQL数据库命令 Hadoop Shell命令 hadoop常用进程和web端口整理 Hadoop概念学习系列之Java调用Shell命令和脚本，致力于hadoop/spark集群（三十六） zabbix监控hadoop进程 hadoop fs 命令 Hadoop五个进程的作用和联系 datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置 使用process_monitor.sh监控hadoop进程的crontab配置 显示当前Hadoop集群节点上启动的进程