Spark计算过程分析
### 基本概念
----------
Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。
MapReduce是Hadoop和Spark的计算模型，其特点
让CarbonData使用更简单
Apache CarbonData是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应。
通过可视化更好的了解你的Spark应用
图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。
– John Tukey
Spark 1.4中对Spark UI进行改进，更加突出可视化的效果。我们来看一下他的主要的改动，主要包含三个方面：
Spark事件的时间线视图
执行的DAG图
Spark Streaming 的可视化
SparkSQL自适应执行
阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。