Hadoop管理员认证大纲

简介: 模块内容 提纲 状态 关于 Apache Hadoop u  为什么是 Hadoop?   ...
模块内容 提纲 状态
关于 Apache Hadoop u  为什么是 Hadoop?  
  u  Hadoop 的核心部件  
  u  基础概念  
HDFS u  HDFS 特性  
  u  读,写文件  
  u  NameNode 内存的考虑  
  u  HDFS 安全性简介  
  u  使用 Namenode Web 用户界面  
  u  使用 Hadoop 文件 Shell  
数据导入 HDFS u  用 Flume 将数据从外部源导入  
  u  用 Sqoop 将数据从关系数据库导入  
  u  REST 接口  
  u  输入数据的最佳实践  
YARN 和 MapReduce u  什么是 MapReduce?  
  u  MapReduce 基本概念  
  u  YARN 集群的架构  
  u  资源分配  
  u  故障恢复  
  u  使用 YARN Web 用户界面  
  u  MapReduce 版本 1  
为你的 Hadoop 集群做计划 u  通用计划的考虑  
  u  选择正确的硬件  
  u  对网络的考虑  
  u  配置节点  
  u  为集群管理做计划  
Hadoop 安装和初始配置 u  部署的类型  
  u  安装 Hadoop  
  u  具体化 Hadoop 的配置  
  u  执行 HDFS 的初始配置  
  u  执行 YARN 和 MapReduce 的初始配置  
  u Hadoop 日志系统  
安装配置 Hive, Impala 和 Pig u  Hive  
  u  Impala  
  u  Pig  
Hadoop 客户端 u  什么是 Hadoop 客户端?  
  u  安装配置 Hadoop 客户端  
  u  安装配置 Hue  
  u  Hue 授权和认证 集群的  
Cloudera 管理器 u  Cloudera 管理器的动机  
  u  Cloudera 管理器的特性  
  u  快速版和企业版  
  u  Cloudera 管理器拓扑  
  u  安装 Cloudera 管理器  
  u  用 Cloudera 管理器安装 Hadoop  
  u  用 Cloudera 管理器执行基本的管理任务  
集群的高级配置 u  高级配置参数  
  u  配置Hadoop 端口  
  u  显性地添加或移除主机  
  u  配置HDFS 的机架认知  
  u  配置HDFS 高可用性  
Hadoop 的安全方案 u  Hadoop 的安全性的重要  
  u Hadoop 的安全系统的概念  
  u  Kerberos 是什么,它如何工作  
  u  用 Kerberos 来守卫 Hadoop 集群  
管理, 计划工作任务 u  管理正在运行的工作  
  u  计划 Hadoop 工作  
  u  配置 FairScheduler  
  u  Impala 的查询计划  
集群的维护 u  检查 HDFS 状态  
  u  在不同集群间拷贝数据  
  u  添加和挪去集群的节点  
  u  重新平衡集群  
  u  集群升级  
集群的监控和故障诊断 u  通用系统监控  
  u  监控 Hadoop 集群  
  u  常见的 Hadoop Clusters 的故障排除  
  u  常见的错误配置

img_e25d4fb2f8de1caf41a735ec53088516.pngHadoop管理员认证大纲.xlsx
目录
相关文章
|
4天前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
28 5
|
11月前
|
分布式计算 资源调度 Hadoop
Hadoop课程大纲
Hadoop课程大纲
56 0
|
分布式计算 大数据 Hadoop
|
分布式计算 Hadoop 大数据
|
6天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
24 2
|
6天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
8天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
39 1
|
25天前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
20 1
大数据Hadoop生态圈体系视频课程
|
4月前
|
分布式计算 资源调度 搜索推荐
《PySpark大数据分析实战》-02.了解Hadoop
大家好!今天为大家分享的是《PySpark大数据分析实战》第1章第2节的内容:了解Hadoop。
44 0
《PySpark大数据分析实战》-02.了解Hadoop
|
4月前
|
存储 搜索推荐 算法
【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)
【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)
155 0

热门文章

最新文章

相关实验场景

更多