基于云服务器的数仓搭建-集群安装
本文介绍了大数据集群的安装与配置，涵盖Hadoop、Zookeeper、Kafka和Flume等组件。主要内容包括：
1. **数据模拟**
2. **Hadoop安装部署**：详细描述了HDFS和YARN的配置，包括NameNode、ResourceManager的内存分配及集群启动脚本。
3. **Zookeeper安装**：解压、配置`zoo.cfg`文件，并创建myid文件
4. **Kafka安装**：设置Kafka环境变量、配置`server.properties`
5. **Flume安装**：配置Flume采集日志到Kafka，编写启动脚本进行测试。
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业，涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE，所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境（包括MySQL、Kafka和Zookeeper），然后通过配置YAML文件提交任务，实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能，并提供详细的命令和示例。最后，包含环境清理步骤以确保资源释放。
【赵渝强老师】Kafka的消费者与消费者组
Kafka消费者是从Kafka集群中消费数据的客户端。单消费者模型在数据生产速度超过消费速度时会导致数据堆积。为解决此问题，Kafka引入了消费者组的概念，允许多个消费者共同消费同一主题的消息。消费者组由一个或多个消费者组成，它们动态分配和重新分配主题分区，确保消息处理的高效性和可靠性。视频讲解及示意图详细展示了这一机制。