Hadoop 2.x (一)

简介:

1、三大马车

MapReduce ,离线计算框架。对海量数据进行处理,支持分布式,大数据分为小数据集,小数据集进行处理(Map),合并统计数据结果(Reduce)。仅适合离线批处理,很好的容错和扩展,适合简单批处理。

HDFS,分布式文件系统,存储海量数据,分布式,保证数据安全性。主节点保存着文件的元数据,存在内存中,用java写的,同时本地有备份。从节点以块为单位,保存数据及数据校验和

HBase,存储数据的数据库

YARN,分布式,资源管理框架 ,管理集群硬件等信息,主从,每个节点都有一个yarn的资源子节点,给主节点提供信息,字节点要向主节点申请资源,container。

2、Hadoop 2.x生态搭建

目录
相关文章
|
数据采集 IDE 编译器
STM32微控制器入门及应用实例
STM32微控制器入门及应用实例
|
Kubernetes 安全 Linux
K8S集群安装
K8S集群安装
723 0
|
前端开发 JavaScript 测试技术
Google提出的网页性能评价指标
Google推出的“网页指标”计划旨在优化网页用户体验,其中Core Web Vitals为核心指标,包括Largest Contentful Paint (LCP)、Interaction to Next Paint (INP)和Cumulative Layout Shift (CLS),分别衡量加载速度、互动性和视觉稳定性。这些指标采用第75百分位数评估,确保在不同设备和网络环境下提供一致的用户体验。
502 5
Google提出的网页性能评价指标
|
消息中间件 运维 JavaScript
使用物联网平台远程管理运维设备
本实验提供在阿里云物联网平台使用试用企业版实例,将设备接入物联网平台并收发消息。
461 21
|
JSON 前端开发 JavaScript
解决跨域问题
解决跨域问题
|
网络协议 Linux
在Linux中,如何分析网络连接和端口占用情况?
在Linux中,如何分析网络连接和端口占用情况?
|
存储 算法 安全
详细解读CA认证原理以及实现(上)
详细解读CA认证原理以及实现(上)
279 1
|
存储 算法 安全
深入理解SHA系列哈希算法:安全性的保障与演进
深入理解SHA系列哈希算法:安全性的保障与演进
|
前端开发 Java 数据库
Java Web开发全攻略:构建高性能Web应用
【4月更文挑战第2天】Java Web开发围绕Servlet和JSP展开,结合Spring/Spring Boot、Struts2、Hibernate等框架构建高性能应用。数据库选择和优化、前端技术如Angular/React/Vue.js以及CI/CD实践是关键。从电子商务到企业系统,Java Web技术为企业与用户互动提供强大平台。持续学习和适应新技术,以应对Web开发挑战。
548 1
Java Web开发全攻略:构建高性能Web应用
|
弹性计算 人工智能 小程序
阿里云:云工开物优势详解
阿里云推出“云工开物”高校计划,为中国在校生免费提供云服务器,降低学习门槛,激发创新潜能。通过实战项目和创新挑战赛,学生可掌握前沿技术,对接产业前沿。该计划还提供技能认证和就业支持,助力学生职业发展,构建从学习到创新再到就业的完整路径,培育未来科技人才。