更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。
本讲义出自Sameer Agarwal在Spark Summit EU 2016上的演讲,他首先从机器的存储、网络以及CPU等硬件的性能发展变化讲起,再谈到软件中Spark IO的优化、数据格式的改进提升,并介绍了Tungsten项目,该项目的目标是大幅度地提升Spark集群的内存和CPU的执行效率,推动Spark的性能最大可能地接近硬件性能的极限。