本节书摘来自华章计算机《Spark大数据处理:技术、应用与性能优化》一书中的第3章,第3.3节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3.3 本章小结
本章主要介绍了Spark的计算模型,Spark将应用程序整体翻译为一个有向无环图进行调度和执行。相比MapReduce,Spark提供了更加优化和复杂的执行流。
读者还可以深入了解Spark的运行机制与Spark算子,这样能更加直观地了解API的使用。Spark提供了更加丰富的函数式算子,这样就为Spark上层组件的开发奠定了坚实的基础。
通过阅读本章,读者可以对Spark计算模型进行更为宏观的把握。相信读者还想对Spark内部执行机制进行更深入的了解,下面章节就对Spark的内核进行更深入的剖析。