数据编排的现代时代：从数据碎片化到协作
数据工程与软件工程长期存在分歧，各自拥有独特的工具和最佳实践。本文探讨了数据编排器的角色及其最新趋势，如何使这两个领域更加紧密地结合。数据编排通过协调数据的提取、转换和服务，解决了多数据源、目标和工具的复杂性。文中介绍了 ELT 流程、不同类型的编排工具（如 Apache Airflow 和 Apache Flink），以及未来可组合数据系统的开放标准，如 Apache Parquet 和 Apache Arrow。这些标准有助于简化数据共享和治理，推动数据系统的未来发展。
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件，包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka；计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream；分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
【赵渝强老师】基于Flink的流批一体架构
本文介绍了Flink如何实现流批一体的系统架构，包括数据集成、数仓架构和数据湖的流批一体方案。Flink通过统一的开发规范和SQL支持，解决了传统架构中的多套技术栈、数据链路冗余和数据口径不一致等问题，提高了开发效率和数据一致性。
【赵渝强老师】Spark生态圈组件
本文介绍了Spark的生态圈体系架构，包括其核心执行引擎Spark Core、结构化数据处理模块Spark SQL、实时数据流处理模块Spark Streaming，以及机器学习框架MLlib和图计算框架GraphX。文中通过图片和视频详细解析了各模块的功能及访问接口。
【赵渝强老师】Flink生态圈组件
Flink 是一个大数据计算引擎，支持批处理和流处理。其优势在于流处理引擎 DataStream。Flink 的生态圈分为三层：平台部署层、核心引擎层和 API&Library 层。平台部署层支持多种部署模式，核心引擎层负责任务执行，API&Library 层提供丰富的开发工具。
FlinkKafkaConsumer相同group.id多个任务消费kafka问题
当使用FlinkKafkaConsumer消费Kafka时，即使设置了相同的group.id，由于Flink内部管理partition的消费offset，两个程序仍能同时消费所有数据。这与KafkaConsumer不同，后者严格遵循消费组隔离原则，避免重复消费同一分区的数据。Flink为实现exactly-once语义，需要独立管理offset，这导致了上述现象。
【赵渝强老师】Yarn的资源调度策略
Yarn作为资源和任务调度平台，支持多个应用程序同时运行，如MapReduce、Spark和Flink等。Yarn的资源调度方式主要包括FIFO Scheduler（先来先服务）、Capacity Scheduler（容量调度）和Fair Scheduler（公平调度）。FIFO Scheduler按任务提交顺序调度；Capacity Scheduler通过队列管理资源，支持多租户共享；Fair Scheduler则根据任务权重动态分配资源，确保公平性。
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。