R&D To Product Pipeline Using Apache Spark in Adtech

在SPARK SUMMIT 2017上，Maximo Gurmendez、Dr. Sunanda Parthasarathy和Dr. Saket Mengle所分享的关于《R on Spark: Scalable Data Science at Petabyte Scale》的议题，主要探讨了如何在Apache Spark平台上高效地运行R语言进行大规模数据科学分析。R语言是一个广泛应用于统计计算和图形生成的编程语言，在数据科学领域非常受欢迎。然而，处理PB级别的大数据集时，传统R环境可能会遇到性能瓶颈。

他们分享的内容可能包括以下几个方面：

1. SparkR介绍：SparkR是Apache Spark的一个R语言接口，它允许数据科学家直接在Spark集群上使用R语言进行分布式计算。这使得R用户能够利用Spark的并行处理能力来处理大规模数据集，而无需学习新的编程语言如Scala或Python。

2. 性能优化：讨论了如何通过SparkR优化R代码以实现更高效的计算，比如数据分区策略、缓存机制、使用DataFrame API而非RDD来提高执行效率等。

3. 案例研究：分享了实际应用中的案例，展示了如何在PB级数据规模下，利用R on Spark进行复杂的数据分析、机器学习模型训练和预测，以及如何解决数据加载、转换、模型并行化等方面遇到的挑战。

4. 工具与工作流：可能还涉及到了一些辅助工具和工作流程，例如如何集成RStudio或其他IDE与Spark集群交互，以及如何管理数据管道，确保从数据摄取到模型部署的整个过程既高效又可重复。

5. 未来展望：讨论了R on Spark的发展趋势，包括新功能的开发、社区支持的增强以及如何更好地融合R生态系统的其他工具和库，以进一步推动大数据分析和机器学习的边界。

请注意，具体细节可能需要查阅当时的会议记录或演讲者的公开资料来获取最准确的信息。