3.8 小结
本章,我们一步一步实现了从数据到商业的整体视图,通过这个过程我们在Spark上处理了大量的数据,并且为IFS公司建立了一个生成销售团队成功的整体视图的模型。
具体来讲,首先我们在准备好Spark计算环境和载入预处理数据之后,为每个商业需求选择了模型。第二,我们准备并约减了特征。第三,估计模型系数。第四,评估了估计模型。接着,我们解释了分析结果。最后,部署了估计得到的模型。
这一处理过程与小数据集处理过程十分相似。然而,要处理大数据,我们需要并行计算,因此,我们使用了Spark。在前面描述的处理过程中,Spark使用简单、处理迅速。
学习完本章,读者全面了解了Spark在获得整体视图的过程中如何使我们的工作更容易和快捷。与此同时,读者应该熟悉了处理大量数据的RM4E建模和开发预测性模型的过程,尤其有能力生成自己的商业整体视图。