Hadoop

首页 标签 Hadoop
# Hadoop #
关注
11261内容
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
|
6月前
|
《深入了解Hive SQL:与传统SQL的差异探秘》
Hive SQL是基于Hadoop的大数据查询语言,用于处理存储在HDFS中的海量数据。它将SQL-like查询翻译为MapReduce任务,在大数据分析领域表现出色。与传统SQL相比,Hive SQL适用于分布式存储和大规模并行处理,支持复杂数据类型(如数组、结构体),但在事务支持和实时性上较弱。传统SQL更适合小规模、结构化数据及高频更新场景,而Hive SQL则专注于离线批量数据分析,广泛应用于用户行为分析、风险评估等场景。两者各有优势,满足不同业务需求,共同推动数据处理技术发展。
Hive概论、架构和基本操作
Apache Spark是一个快速的,多用途的集群计算系统,相对于Hadoop MapReduce将中间结果保存在磁盘中,Spark使用了内存保存中间结果,能在数据尚未写入硬盘时在内存中进行计算,同时Spark提供SQL支持。Hive是建立在Hadoop上的数据仓库基础架构,它提供了一系列的工具,可以存储、查询、分析存储在分布式存储系统中的大规模数据集。Hive定义了简单的类SQL查询语言,通过底层的计算引擎,将SQL转为具体的计算任务进行执行。它将计算分为两个阶段,分别为Map和Reduce。
Fluss on 鲲鹏 openEuler 大数据实战
本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。
免费试用