# 开源大数据平台 E-MapReduce #
0
关注
1606内容
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。
E-MapReduce 4.0产品新特性
E-MapReduce是运行在阿里云平台上的一大数据处理的系统解决方案。在2019年10月，阿里巴巴将发布EMR4.0版本。本篇介绍EMR4.0的新特性，包括在EMR基础能力，技术栈，生态集成和数据迁移等方面的升级，EMR4.0为用户提供更高的计算性能和更低的产品价格，将技术的红利让给用户。
HiveServer2集成LDAP做用户认证
HiveServer2支持多种认证方式，通过`hive.server2.authentication`参数来设置，包括`nosasl, none, ldap, kerberos, pam, custom`
本文介绍如何在E-MapReduce中使用LDAP配置HiveServer的认证。
使用spark-redis组件访问云数据库Redis
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。
|
ES-hadoop写数据到阿里云Elasticsearch
ES-Hadoop是一个用于Elasticsearch和Hadoop进行交互的开源独立库，在Hadoop和Elasticsearch之间起到桥梁的作用，本文基于阿里云E-MapReduce和阿里云Elasticsearch，演示如何通过ES-Hadoop连通Hadoop生态系统和Elasticsearch。
YARN(hadoop2)框架的一些软件设计模式
yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面，我们认为yarn模式是新一代的框架，这个在官方等丛多的资料中说明得很详细了。在软件设计方面，我认为主要有以下的一些大的方面的改进：服务生命周期管理模式、事件驱动模式、状态驱动模式
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
E-MapReduce集群脚本-包年包月集群修改软件环境的利器
集群，特别是包年报月集群，在使用过程中，可能会有新的安装第三方软件，修改集群运行环境的需求。
E-MapReduce控制台1.5.0版本提供了集群脚本的功能，可以在集群创建好后批量选择节点，运行您指定的脚本，以实现个性化的需求。
2013年北京hadoop in china见闻
谈下这次参加中国hadoop技术峰会的收获，两天大约听了20场次，上午的是必听的，下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群，特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表，复杂点可能会涉及到一些机器学习和
Apache Spark中国社群 有奖投稿通道 启动啦！
感谢对 Apache Spark 中国社区的关注和支持！如果您有意为 Apache Spark 中国社区投稿请关注如下的内容。
投稿内容要求：
内容要求是 Apache Spark 相关的技术内容，可以是对 Apache Spark 的分析，也可以是 Apache Spark 的实践。
免费试用