【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
HDFS（Hadoop分布式文件系统）由三个核心组件构成：NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求，维护元数据文件fsimage和edits；DataNode存储实际的数据块，默认大小为128MB；SecondaryNameNode定期合并edits日志到fsimage中，但不作为NameNode的热备份。通过这些组件的协同工作，HDFS实现了高效、可靠的大规模数据存储与管理。
基于云服务器的数仓搭建-集群安装
本文介绍了大数据集群的安装与配置，涵盖Hadoop、Zookeeper、Kafka和Flume等组件。主要内容包括：
1. **数据模拟**
2. **Hadoop安装部署**：详细描述了HDFS和YARN的配置，包括NameNode、ResourceManager的内存分配及集群启动脚本。
3. **Zookeeper安装**：解压、配置`zoo.cfg`文件，并创建myid文件
4. **Kafka安装**：设置Kafka环境变量、配置`server.properties`
5. **Flume安装**：配置Flume采集日志到Kafka，编写启动脚本进行测试。
MPP 架构与 Hadoop 架构技术选型指南
MPP架构与Hadoop架构是处理海量数据的两大选择。MPP通过大规模并行处理实现快速查询响应，适用于企业级数据仓库和OLAP应用；Hadoop则以分布式存储和计算为核心，擅长处理非结构化数据和大数据分析。两者各有优劣，MPP适合结构化数据和高性能需求场景，而Hadoop在扩展性和容错性上表现更佳。选择时需综合考虑业务需求、预算和技术能力。
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想，使用Java实现其核心功能MapReduce，解决海量数据处理问题。通过类比图书馆管理系统，详细解释了Hadoop的两大组件：HDFS（分布式文件系统）和MapReduce（分布式计算模型）。具体实现了单词统计任务，并扩展支持CSV和JSON格式的数据解析。为了提升性能，引入了Combiner减少中间数据传输，以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性，鼓励Java开发者学习Hadoop以拓展技术边界。
大数据时代的引擎：大数据架构随记
大数据架构通常分为四层：数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据，常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织，常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集，支持离线和在线计算，如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用，常用工具为Tableau、Zeppelin和Superset。
Flume+Hadoop：打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统（HDFS）。Flume是一个高可用、可靠的分布式系统，适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程，并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时，还提供了验证步骤，确保数据成功上传。最后，补充说明了使用文件模式作为channel以避免数据丢失的方法。
hadoop yarm你知道吗？
Hadoop YARN是Hadoop 2.x版本中的资源管理器，负责集群资源管理和作业调度。它由ResourceManager、NodeManager和ApplicationMaster组成，分别负责全局资源调度、节点资源管理和应用程序执行监控。YARN支持多种调度策略，具备高可用性和容错性，并能运行MapReduce、Spark等多种计算框架。配置文件`yarn-site.xml`用于设置YARN的各项参数，如ResourceManager地址、资源上限和调度器类型等。
如何8步完成hadoop单机安装
本文介绍了在Ubuntu 20.04上安装和配置Hadoop 3.3.6的详细步骤。首先更新系统并安装Java环境，接着下载、解压Hadoop并配置环境变量。然后编辑核心配置文件`core-site.xml`和`hdfs-site.xml`，格式化HDFS文件系统，并启动Hadoop服务。最后通过`jps`命令和浏览器访问Web界面验证安装是否成功。Hadoop是一个开源框架，用于分布式存储和处理大规模数据集，其核心组件包括HDFS、MapReduce和YARN。