推荐系统项目架构----以及数据流程:
linux 主机集群的搭建------通过VMware虚拟机进行对其中的一台主机进行克隆,然后在分别修改每台机器的静态IP
进入这个位置进行修改IP地址,进入之后:
1,使用 dd 操作删除eth0所在的配置行
2.使用 ctr l + $ 定位到文本的最后一行,并修改成eth0,同时复制 ATTR(address) 后面的 mac 地址
对机器进行网络的配置:
vim /etc / sysconfig / network - script / ifcfg - eth0
修改其中的 硬件地址 跟我们设置的 IP地址ude
修改主机名称:
查看主机名映射是否配置好:
创建一个具有 root 权限的用户名:
进行环境变量的设置:
#####JAVA_HOMT
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
再执行 source /etc/profile 使用配置文件
================================================================================================
开始配置:
配置输入环境,将 etc / 下面的配置文件复制到 新穿件的 input 目录下面
执行案例:(grep案例)
其中output必须为空
伪分布式模式:
etc/hadoop/hadoop-enc.sh 中进行如下配置:
完全分布式:
踩坑:(分布式集群搭建成功之后----使用 start-dfs.sh------再使用jps查看不到namenode的启动------一定要在启动集群的时候使用hadoop namenode format 对集群进行格式化)