# 开源大数据平台 E-MapReduce #
0
关注
1606内容
Spark中的内存管理(一)
Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。
Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望
阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。
E-MapReduce 集群环境小记
大家在使用E-MapReduce的时候，都想对E-MapReduce的集群环境细节有些了解。这里根据实践，总结一下E-MapReduce集群环境与应用启动与停止，供大家在实际使用中进行参考。
SparkSQL ThriftServer 安全相关功能的现状分析
SparkSQL Thrift Server 是 Spark SQL基于 Apache Hive的 HiveServer2开发的，通过SparkSQL Thrift Server 可以使 Spark SQL支持 JDBC/ODBC 的连接方式，用户可以通过 JDBC and ODBC 协议，在Spark上执行 SQL。
在E-MapReduce集群内运行Spark GraphX作业
Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。
下面以PageRank为例，看看如何运行GraphX作业
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
Spark排序算法系列之GBTs使用方式介绍
在本篇文章中你可以学到：
Spark MLLib包中的GBDT使用方式
模型的通过保存、加载、预测
PipeLine
ML包中的GBDT
搭建Gateway向E-MapReduce集群提交作业
搭建Gateway向E-MapReduce集群提交作业
免费试用