bean_stalk_个人页

2022年01月

• 01.17 21:43:14
  发表了文章 2022-01-17 21:43:14

  阿里云EMR Remote Shuffle Service在小米的实践，以及开源

  阿里云EMR自2020年推出Remote Shuffle Service(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施，与此同时RSS也在跟合作方小米的共建下不断演进。本文将介绍RSS的最新架构，在小米的实践，以及开源。

  

2019年11月

• 11.18 03:14:19
  发表了文章 2019-11-18 03:14:19

  Spark Codegen浅析

  Codegen是Spark Runtime优化性能的关键技术，核心在于动态生成java代码、即时compile和加载，把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别，分别针对表达式计算和全Stage计算做代码生成，都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。