基于云服务器的数仓搭建-集群安装
本文介绍了大数据集群的安装与配置,涵盖Hadoop、Zookeeper、Kafka和Flume等组件。主要内容包括:
1. **数据模拟**
2. **Hadoop安装部署**:详细描述了HDFS和YARN的配置,包括NameNode、ResourceManager的内存分配及集群启动脚本。
3. **Zookeeper安装**:解压、配置`zoo.cfg`文件,并创建myid文件
4. **Kafka安装**:设置Kafka环境变量、配置`server.properties`
5. **Flume安装**:配置Flume采集日志到Kafka,编写启动脚本进行测试。