# 开源大数据平台 E-MapReduce #
0
关注
1803内容
Spark Codegen浅析
Codegen是Spark Runtime优化性能的关键技术，核心在于动态生成java代码、即时compile和加载，把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别，分别针对表达式计算和全Stage计算做代码生成，都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。
玩转阿里云EMR三部曲-入门篇
优异的自动化创建集群让小伙伴可以专心于业务开发，不再纠结于hadoop版本，spark版本，甚至某些jar版本引发的各种奇怪问题，按需集群按小时计费模式替小伙伴们极大节省了开支，可以50个节点执行1小时，也可以3个节点执行5小时，非常灵活。
浅谈 Spark 的多语言支持（修订版）
Spark 设计上的优秀无容置疑，甫一出道便抢了 Hadoop 的 C 位，在开源大数据的黄金十年里一时风头无两，在人工智能时代的当下仍然能够与时俱进，不可谓不牛逼。架构和设计上的卓越，不遑多言，美中不足之处自然也有不少，比如调度模型跟 MapReduce 这种计算范式过于耦合，Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型，所幸在于对框架的改动不会伤经动骨。
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
使用 Jupyter Notebook 运行 Delta Lake 入门教程
本文通过 jupyter notebook 工具演示了 Delta Lake 的官方教程
Spark内置图像数据源初探
在Apache Spark 2.4中引入了一个新的内置数据源, 图像数据源.用户可以通过DataFrame API加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简单的处理,然后使用MLlib进行特定的训练和分类计算。
【译】Spark-Alchemy：HyperLogLog的使用介绍
原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html]
译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。
使用Relational Cache加速EMR Spark数据分析
Relational Cache的强大功能赋予了Spark更多的可能，通过Relational Cache，用户可以提前将任意关系型数据（Table/View/Dataset）cache到任意Spark支持的DataSource中，并支持灵活的cache数据组织方式，基于此，Relational Cache可以在诸多应用场景中帮助用户加速Spark数据分析。
Alluxio技术内幕：如何百倍加速云端元数据操作
本文转载自：https://zhuanlan.zhihu.com/p/49499385
我们在这篇文章介绍最新版本（1.8.1版本）的Alluxio如何通过使用指纹特性和底层存储批量操作加快Alluxio元数据操作。
免费试用