暂时未有相关云产品技术能力~
暂无个人介绍
背景
背景
笔记
笔记
笔记
笔记
笔记
Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为MapReduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
Spark 对数据的核心抽象——弹性分布式数据集(Resilient Distributed Dataset, 简 称 RDD) 。 RDD 其实就是分布式的元素集合。在 Spark 中, 对数据的所有操作不外乎 创 建 RDD、 转化已有 RDD 以及 调用 RDD 操作进行求值。而在这一切背后, Spark 会自动将 RDD 中的数据分发到集群上,并将操作并行化执行。
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
笔记
教程
笔记
笔记
HDFS(Hadoop Distributed File System)是Hadoop核心组成之一,是分布式计算中数据存储管理的基础,被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点,一类是NameNode,又叫“元数据节点”,另一类是DataNode,又叫“数据节点”,分别执行Master和Worker的具体任务。HDFS是一个(Master/Slave)体系结构,“一次写入,多次读取”。HDFS的设计思想:分而治之—将大文件、大批量文件分布式存放在大量独立的机器上。
笔记