《探索 Apache Spark MLlib 与 Java 结合的卓越之道》
本文探讨了Apache Spark MLlib与Java结合的最佳实践，涵盖基础认知、数据预处理、模型选择与构建、训练调优及部署应用。Spark以其分布式计算能力著称，MLlib提供丰富的机器学习算法，Java则拥有成熟生态。两者结合可高效处理大规模数据集，构建灵活的机器学习应用。通过RDD和DataFrame API进行数据操作，利用特征工程工具优化数据，选择合适的分类、回归或聚类模型，并通过管道机制简化工作流。模型训练时合理设置参数并调优，最终将模型部署到生产环境，释放其商业价值。
数据仓库的性能问题及解决之道
随着数据量的增长和业务复杂度的提升，数据仓库性能问题日益凸显，如查询慢、跑批不完等。传统解决方案如集群、预计算和优化引擎虽有一定效果，但成本高、灵活性差或性能提升有限。esProc SPL 提供了一种新的解决思路，通过非 SQL 的计算体系，结合高性能算法和优化的数据存储，实现更高效的数据处理，尤其适用于复杂计算场景。
Scala语言发展历史及基本常识
Scala，由马丁·奥德斯基于2001年创造，融合了Java和JavaScript的特性，被称为“大数据的黄金语言”。它是Spark、Flink、Kafka等项目的主要开发语言，运行在JVM上，与Java高度兼容，支持面向对象和函数式编程。Scala以精简的语法和高级语言特性著称，成为大数据处理领域的首选语言之一。
Structured Streaming和Flink实时计算框架的对比
本文对比了Structured Streaming和Flink两大流处理框架。Structured Streaming基于Spark SQL，具有良好的可扩展性和容错性，支持多种数据源和输出格式。Flink则以低延迟、高吞吐和一致性著称，适合毫秒级的流处理任务。文章详细分析了两者在编程模型、窗口操作、写入模式、时间语义、API和库、状态管理和生态系统等方面的优劣势。
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。