Hadoop2.x运维实战之入门手册v1.0

简介: Hadoop2.x运维实战之入门手册V1.0 0.Hadoop2.x生态圈介绍1.常用组件介绍(体系结构+进程)   1.1HDFS   1.
Hadoop2.x运维实战之入门手册V1.0
0.Hadoop2.x生态圈介绍
1.常用组件介绍(体系结构+进程)
   1.1HDFS
   1.2MapReduce
   1.3Yarn
   1.4Hive
   1.5Hbase
   1.6Zookeeper
   1.7Flume
   1.8Kafka
   1.9Sqoop

1.Hadoop2.6.0的伪分布环境搭建
2.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建(HDFS,YARN HA)

3.Hadoop 2.x HDFS和YARN的启动方式
4.Hadoop2.x常用端口及定义方法
5.Hadoop2.x常用命令
     5.1学会怎样查看命令帮助
     5.2hadoop fs
     5.3hdfs dfs
     5.4hdfs dfsadmin
     5.5hdfs haadmin
     5.6hdfs fsck
     5.7yarn rmadmin
     5.8其他命令

6.HDFS HA实战
7.YARN HA实战

8.动态添加DataNode(含NodeManager)节点(不修改dfs.replication)
9.添加DataNode节点后,更改文件复制策略dfs.replication
10.动态删除DataNode(含NodeManager)节点(修改dfs.replication)

11.Zookeeper实战
   

12.Hive实战
  12.1 Hive+HDFS存储数据+MySQL存储元数据搭建(本地模式)

  12.2  Hive+ HDFS存储数据+ MySQL存储元数据搭建(远程模式)
  12.3 HAProxy+Hive+HBase构建高可用数据挖掘集群

  12.4 Hive Shell基本操作
  12.5 Hive QL语法
  12.6 数据导入导出
  12.7 eclipse与Hive

13.HBase实战
   13.1 HMaster HA分布式搭建
   13.2 HBase shell table常用命令
   13.3 HBase shell 管理常用命令
    13.4   eclipse与Hbase    

14.Hadoop2.x DataNode数据均衡实战

15.Hadoop2.x 性能调优
   11.1操作系统
   11.2JVM参数调优
 
   11.3HDFS参数调优
   11.4Yarn参数调优
   11.5MapReduce参数调优
   11.6Hive参数调优


16.Hadoop常见错误汇总
17.Hadoop常见运维技巧
18.参考资料
   18.1运维记录
   18.2文档资料

19.作者心得
      刚开始对大数据这块完全属于门外汉,然后在公司接下来的3个月里搭建cdh4和cdh5环境,做做cdh5实验(参照前辈的cdh4文档),记录cdh5实验过程,写成文档!
在这个过程,其实很痛苦,因为我对这hadoop是啥也不懂,慢慢的,坚持下来,不懂就去Google,about 云等等,当所有的实验做下来,依旧对cloudera hadoop还是一头雾水,只不过稍微开始慢慢的理解了,所以当时就慢慢的准备写份“ CDH5快速入门手册v1.0”,在写的过程的中,还不如说是在整理,我对CDH5理解的东西。可是CDH5太难搞懂了,因为它是对Apache Hadoop封装的管理软件,可能不想我们轻易了解CDH5的道道!
     后来突然有一天,我想要去学Apache Hadoop,这个原生态的东西,于是乎,我在2016年1月3号,在Itpub开始写博客,当然之前我做开发的时候,就经常在新浪博客上写开发的东西(尤其是水晶报表实战,后来莫名其妙基本每个礼拜都有qq加我,问我水晶报表各种其难杂症)!
     自学2个多月了,是个痛苦的过程,突然有天晚上我灵感一抖,于是就写下了当前的“ Hadoop2.x运维实战之入门手册v1.0”大纲,当然这是个记录自我学习的过程!
     在当前目录的实验已做1/3了,xiao5预计在7月份左右,做完所有的实验,写成文档!期待吧!!!
     等真正入门hadoop,我会继续完善 CDH5快速入门手册v1.0

加入群【cloudera hadoop】:258669058 不定期发布资料的word文档、遇见的bug和心得!
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
运维 应用服务中间件 持续交付
自动化运维的利器:Ansible实战应用
【9月更文挑战第33天】本文将带你深入理解Ansible,一个强大的自动化运维工具。我们将从基础概念开始,逐步探索其配置管理、任务调度等功能,并通过实际案例演示其在自动化部署和批量操作中的应用。文章旨在通过浅显易懂的语言和实例,为读者揭开Ansible的神秘面纱,展示其在简化运维工作中的强大能力。
156 64
|
8天前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
60 3
|
2月前
|
运维 安全 应用服务中间件
自动化运维的利剑:Ansible实战应用
【9月更文挑战第24天】在现代IT基础设施的快速迭代与扩展中,自动化运维成为提升效率、保障稳定性的关键。本文将深入探讨Ansible这一流行的自动化工具,通过实际案例分析其如何简化日常运维任务,优化工作流程,并提高系统的可靠性和安全性。我们将从Ansible的基础概念入手,逐步深入到高级应用技巧,旨在为读者提供一套完整的Ansible应用解决方案。
|
3天前
|
运维 负载均衡 Ubuntu
自动化运维的利器:Ansible入门与实践
【10月更文挑战第31天】在当今快速发展的信息技术时代,高效的运维管理成为企业稳定运行的关键。本文将引导读者了解自动化运维工具Ansible的基础概念、安装步骤、基本使用,以及如何通过实际案例掌握其核心功能,从而提升工作效率和系统稳定性。
|
14天前
|
运维 应用服务中间件 持续交付
自动化运维的利器:Ansible入门与实践
【10月更文挑战第21天】在现代IT基础设施的管理中,自动化运维已成为提升效率、降低错误率的关键。Ansible,作为一种简单而强大的自动化工具,正被广泛应用于配置管理、应用部署和任务自动化等领域。本文将引导你了解Ansible的基本概念,通过实际案例展示如何利用Ansible简化日常运维工作,并探讨其在现代IT运维中的应用价值。无论你是新手还是有经验的系统管理员,这篇文章都将为你开启Ansible的高效之旅提供指导。
|
16天前
|
运维 监控 jenkins
运维自动化实战:利用Jenkins构建高效CI/CD流程
【10月更文挑战第18天】运维自动化实战:利用Jenkins构建高效CI/CD流程
|
26天前
|
运维 关系型数据库 MySQL
自动化运维工具Ansible的实战应用
【10月更文挑战第9天】在现代IT运维领域,效率和可靠性是衡量一个系统是否健康的重要指标。自动化运维工具Ansible因其简洁、易用的特性,成为了众多企业和开发者的首选。本文将通过实际案例,展示如何利用Ansible进行日常的运维任务,包括配置管理、软件部署以及批量操作等,帮助读者深入理解Ansible的应用场景及其带来的效益。
|
7天前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第27天】在智能运维中,Prometheus和Grafana的组合已成为监控和告警体系的事实标准。Prometheus负责数据收集和存储,支持灵活的查询语言PromQL;Grafana提供数据的可视化展示和告警功能。本文介绍如何配置Prometheus监控目标、Grafana数据源及告警规则,帮助运维团队实时监控系统状态,确保稳定性和可靠性。
44 0
|
1月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
39 3
|
1月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
37 2