虚拟机环境准备
- 克隆虚拟机
遇到错误:指定虚拟磁盘需要进行修复,解决办法:将虚拟磁盘路径下对应的几个.lck文件删除即可
2.修改ip地址等等
安装JDK
...yum安装
安装Hadoop
...源码安装
Hadoop的目录结构
- bin --> hdfs/yarn/hadoop
- etc --> 系统配置文件
- include --> 用到很少
- lib 和 libexec
- LICENSE/NOTICE/README 说明/通知等
- sbin --> 重要 启动,停止集群
- share --> 官方案例与说明文档,依赖jar
https://hadoop.apache.org/
官方网站提供 软件包和开发文档
Hadoop运行模式:
Hadoop运行模式包括:
1.本地模式 运行官方自带的mapduce的jar 包含grep查找指定格式字符串+countword 每个字符串出现次数
2.伪分布式模式 按照分布式配置,只不过就一台服务器
3.分布式模式 标准分布式,多台服务器
