先改成自动DHCP看看自己的网段,然后在改成对应的手动静态
然后去更改hosts
里面的网址映射
vim /etc/hosts
mysql:apt-get 安装的8.0版本,已经开机自启,只做提供hive元数据用
账号:root
密码:111111
Python版本管理器:pyenv
**开机后远程ssh登录root用户(强烈推荐)****,远程连接三台机器成功,**一来可以确认网络正常,二来终端操作方便,Ubuntu图形终端复制粘贴操作麻烦。
或者在jack图形用户打开终端sudo su切换root用户操作(不建议)
所有机器操作一定要在root用户下面,jack用户只用来管理Ubuntu的图形界面用
开机可以运行zsh,zsh带有操作记录高亮功能。
开机后开启实验环境的命令:存放在/root/开机操作顺序.txt
cat /root/开机操作顺序.txt
开启hbase注意所有机器同步时间: ntpdate 0.cn.pool.ntp.org
/opt/hadoop/sbin/start-all.sh
三台机器 zkServer.sh start
开启metastore: hive --service metastore -p 9083
nohup hive --service metastore -p 9083 > /root/nohup_logs/hive-service-metastore.nohup 2>&1 &
/opt/hbase/bin/start-hbase.sh
/opt/spark/sbin/start-all.sh
/opt/livy/bin/livy-server start
启动hive 远程连接服务: hive --service hiveserver2
nohup hive --service hiveserver2 > /root/nohup_logs/hiveserver2.nohup 2>&1 &
hbase 远程访问服务开启命令: hbase thrift
nohup hbase thrift > /root/nohup_logs/hbase-thrift-server.nohup 2>&1 &
后台运行jupyter: nohup jupyter notebook --allow-root --ip=master > /root/nohup_logs/jupyter-server.nohup 2>&1 &
后天运行逻辑: nohup 你的运行代码 > 输出保存的位置 2>&1 &
开启进程管理工具: supervisord -c /etc/supervisord.conf
pycharm软件运行环境:
PYTHONUNBUFFERED=1;JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64;SPARK_HOME=/opt/spark;HADOOP_HOME=/opt/hadoop;PYSPARK_PYTHON=/root/.pyenv/shims/python;PYSPARK_DRIVER_PYTHON=/root/.pyenv/shims/python;PYSPARK_SUBMIT_ARGS=–packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.2 pyspark-shell
删除一个复制文件时的致命循环bug,会导致scp,cp无限大的软连接:
rm /opt/zookeeper/zookeeper
两台从机器删除
rm -rvf /opt/zookeeper/zookeeper
集群大部分软件位置:/opt
具体位置参考pycharm软件运行环境
大数据环境管理地址:ip地址以更改后自己的静态配置
hadoop端口:
spark端口:http://172.16.161.15:8081/
hbase:http://172.16.161.15:16010/
友情提示:虚拟机可不兴压缩啊
Mac电脑我虚拟机被我压缩报废了,vmx打不开,我也得去下群里面的虚拟机了。
好尴尬啊,这虚拟机可不兴压缩啊。
6010/
友情提示:虚拟机可不兴压缩啊
Mac电脑我虚拟机被我压缩报废了,vmx打不开,我也得去下群里面的虚拟机了。
好尴尬啊,这虚拟机可不兴压缩啊。