【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
【赵渝强老师】Spark生态圈组件
本文介绍了Spark的生态圈体系架构，包括其核心执行引擎Spark Core、结构化数据处理模块Spark SQL、实时数据流处理模块Spark Streaming，以及机器学习框架MLlib和图计算框架GraphX。文中通过图片和视频详细解析了各模块的功能及访问接口。
【赵渝强老师】Yarn的资源调度策略
Yarn作为资源和任务调度平台，支持多个应用程序同时运行，如MapReduce、Spark和Flink等。Yarn的资源调度方式主要包括FIFO Scheduler（先来先服务）、Capacity Scheduler（容量调度）和Fair Scheduler（公平调度）。FIFO Scheduler按任务提交顺序调度；Capacity Scheduler通过队列管理资源，支持多租户共享；Fair Scheduler则根据任务权重动态分配资源，确保公平性。
存算分离与计算向数据移动：深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来，数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构，即计算资源与存储资源紧密耦合，在处理海量数据时逐渐显露出其局限性。为了应对这些挑战，存算分离（Disaggregated Storage and Compute Architecture）和计算向数据移动（Compute Moves to Data）两种架构应运而生，成为大数据处理领域的热门技术。
Spark Standalone与YARN的区别？
本文详细解析了 Apache Spark 的两种常见部署模式：Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务，适合小规模集群；YARN 模式与 Hadoop 生态系统集成，适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序，并总结了两者的优缺点，帮助读者根据需求选择合适的部署模式。
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括：Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎，通过向量化技术和 C++ 实现，大幅提升了性能和成本效益。
ClickHouse与大数据生态整合：从ETL到BI报表
【10月更文挑战第27天】在这个数据驱动的时代，企业越来越依赖于数据来做出关键决策。而高效的数据处理和分析能力则是支撑这一需求的基础。作为一位数据工程师，我有幸参与到一个项目中，该项目旨在利用ClickHouse与Hadoop、Spark、Flink等大数据处理框架的整合，构建一个从数据提取（Extract）、转换（Transform）、加载（Load）到最终生成商业智能（BI）报表的全流程解决方案。以下是我在这个项目中的经验和思考。