大快DKhadoop开发环境安装常见问题及解决方案汇总

简介:

大快DKhadoop开发环境安装常见问题及解决方案汇总
2018年度国内大数据公司排名50强本月初榜单发布,榜单上看到大快搜索跻身50强,再看看他们做的DKHadoop发行版,的确还是蛮厉害的吧!最起码这款DKHadoop用起来确实在易用性方面要更好!Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理,希望对一些朋友有帮助吧!
image

DKHadoop安装问题整理
1、系统安装

如果没有联网,请手动同步时间
如果联网请同步为中国时区

2、集群免密登录问题

1):主机名一定要区分大小写,否则免密不成功
2):运行sshpass.sh的时候,必须是在/root/下 并且参数是集群密码(如果不是123456请输入自己的密码!!!!!!!!),避免输入错误。

3、MySQL安装问题

1): 如果出现类似:bash “ MySQL ”command not found 就需要运行:
         source /etc/profile
2):执行 ./sync的时候 必须输入另一台的IP

4、DKH启动安装

1):如果登录不进去,回忆一下运行changeMaster的时候是不是输入错误。如果输入错误,必须手动修改文件:
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/dbconfig.properties
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/wsconfig.properties

将输错的IP更改过来

2):按步骤执行,输入主机名称和IP(安装过程中不要刷新页面!!!)
3):安装需使用火狐浏览器
4):测试平台只提供三台及三台以上五台及五台以下的机器安装。

5、impala安装
1):如果没有联网 impala跳过安装(局域网不算联网!!!!)
2):如果需要impala,并且没有联网 ,请看本地yum源搭建。
6、从节点namenode异常
因为同步元数据忘了启动,在从节点上执行(其中的IP为从节点IP):
ssh root@10.1.56.09
/opt/dkh/Hadoop-2.6.0/sbin/Hadoop-daemon.sh start namenode
7、装系统报错误没有JAVA_HOME
1)每台机器都执行vi /etc/profile
把 export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
三条命令加在最下面,保存之后执行命令行:
source /etc/profile
2)执行命令行:
cd /root/install
./installJDK.sh 主机名1 主机名2 主机名3
然后启动tomcat命令行:
cd /root/DKHInstall/bin/
./startup.sh
3)执行vi /opt/dkh/DKM/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
4)执行 vi /opt/dkh/DkSou/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
8、启动kafka
/opt/dkh/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties >> /opt/dkh/kafka*/config/kafka-server.log 2>&1 &
注意:这是一条命令, 每台机器上都要运行
9、启动dkm dksou
/opt/dkh/DKM/bin/startup.sh
/opt/dkh/DkSou/bin/startup.sh
每台机器都要执行
10、集群免密问题
执行完集群免密之后要SSH一下,看看集群免密是否操作成功。不成功说明对应关系没写好。

相关文章
|
5月前
|
移动开发 小程序 IDE
【社区每周】小程序搜索直达能力全面开放;IDE3.0稳定版正式发布(2022年6月第二期)
【社区每周】小程序搜索直达能力全面开放;IDE3.0稳定版正式发布(2022年6月第二期)
49 0
|
5月前
|
人工智能 Python
隐私计算实训营 第1期-第4讲 快速上手隐语SecretFlow的安装和部署
文档改进建议:明确Ray, K3S, Kuscia与SecretFlow的关系;结构化部署文档,区分顺序步骤与选择分支;提供从零开始的详细部署教程,补充缺失的前置步骤说明。
|
5月前
|
Python
隐语环境的搭建
https://www.bilibili.com/video/BV12r421t77V/ 忙着改论文,blog没法写的太详细了
|
5月前
|
数据可视化 Docker 容器
隐语实训营-第4讲:SecretFlow和SecretNote的安装
介绍secretflow及其可视化工具secretfNote的安装,课程链接:https://www.bilibili.com/video/BV161421S7xY/?spm_id_from=333.999.0.0 下:https://www.bilibili.com/video/BV12r421t77V/?spm_id_from=333.999.0.0
159 1
|
5月前
|
Linux Docker 容器
隐私计算实训营第4讲-------快速上手隐语SecretFlow的安装和部署
考虑到很多小伙伴可能是初学者之前并没有安装docker 以及docker-compose的经验,本文记录如何在Linux系统上快速的部署docker以及更换国内镜像源。在部署完成以后展示了隐语从源码编译部署以及secretnote的安装,简单快速,非常实用。
216 1
|
5月前
|
Ubuntu Docker 容器
隐语实训营 第四课 安装部署secretflow&secretnote
`secretflow`推荐使用Docker部署,尤其在WSL环境中。运行命令`docker run -it secretflow-registry.cn-hangzhou.cr.aliyuncs.com/secretflow-lite-anolis8:latest`启动。对于`secretnote`,编辑`docker-compose.yml`文件,配置Alice和Bob节点,然后执行`sudo docker-compose up -d`部署。访问http://localhost:8090/,设置Alice的IP为127.0.0.1:8888,Bob的IP为虚拟机以太网地址:8092,完成。
210 0
|
5月前
|
开发工具 git Docker
隐私计算实训营 第四讲 快速上手隐语SecretFlow的安装和部署
在两台虚拟机(10.10.101.58:alice, 10.10.104.124:bob)上部署Secretflow,使用docker和`secretflow/secretflow-lite-anolis81.4.0b0`镜像。每台机器上运行docker容器,并通过`docker exec`启动Ray服务(Bob节点在8085端口)。接着,导入secretflow库,配置集群信息并初始化。Secretnode部署通过源码完成,克隆secretnote仓库,进入sim目录,运行`docker-compose up`。展示部署成功后的界面截图。
96 0
|
数据可视化 大数据 Python
Python集成大数据开发软件推送
Python集成大数据开发软件推送
Python集成大数据开发软件推送
|
缓存 IDE 编译器
鲲鹏系列一: DevKit代码迁移工具技术要点总结
处理器所支持的指令集不同,意味着开发者可能需要对代码进行跨平台的迁移。通常,代码迁移是件复杂又繁琐的工作,需要花费开发者大量精力对软件包、源代码、依赖库文件进行人工分析、检查和识别,手动修正不同指令集之间的相关差异,这些差异主要涉及语法、指令、函数和库文件支持情况。
479 0
鲲鹏系列一: DevKit代码迁移工具技术要点总结
|
分布式计算 Ubuntu Hadoop
大数据利器之神兵淬炼谱:VMware-Linux-Hadoop-Spark-Anaconda-Pycharm琅琊榜
大数据利器之神兵淬炼谱:VMware-Linux-Hadoop-Spark-Anaconda-Pycharm琅琊榜
330 0
大数据利器之神兵淬炼谱:VMware-Linux-Hadoop-Spark-Anaconda-Pycharm琅琊榜