大快DKhadoop开发环境安装常见问题及解决方案汇总

简介:

大快DKhadoop开发环境安装常见问题及解决方案汇总
2018年度国内大数据公司排名50强本月初榜单发布,榜单上看到大快搜索跻身50强,再看看他们做的DKHadoop发行版,的确还是蛮厉害的吧!最起码这款DKHadoop用起来确实在易用性方面要更好!Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理,希望对一些朋友有帮助吧!
image

DKHadoop安装问题整理
1、系统安装

如果没有联网,请手动同步时间
如果联网请同步为中国时区

2、集群免密登录问题

1):主机名一定要区分大小写,否则免密不成功
2):运行sshpass.sh的时候,必须是在/root/下 并且参数是集群密码(如果不是123456请输入自己的密码!!!!!!!!),避免输入错误。

3、MySQL安装问题

1): 如果出现类似:bash “ MySQL ”command not found 就需要运行:
         source /etc/profile
2):执行 ./sync的时候 必须输入另一台的IP

4、DKH启动安装

1):如果登录不进去,回忆一下运行changeMaster的时候是不是输入错误。如果输入错误,必须手动修改文件:
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/dbconfig.properties
vi /root/DKHInstall/webapps/DKH/WEB-INF/classes/wsconfig.properties

将输错的IP更改过来

2):按步骤执行,输入主机名称和IP(安装过程中不要刷新页面!!!)
3):安装需使用火狐浏览器
4):测试平台只提供三台及三台以上五台及五台以下的机器安装。

5、impala安装
1):如果没有联网 impala跳过安装(局域网不算联网!!!!)
2):如果需要impala,并且没有联网 ,请看本地yum源搭建。
6、从节点namenode异常
因为同步元数据忘了启动,在从节点上执行(其中的IP为从节点IP):
ssh root@10.1.56.09
/opt/dkh/Hadoop-2.6.0/sbin/Hadoop-daemon.sh start namenode
7、装系统报错误没有JAVA_HOME
1)每台机器都执行vi /etc/profile
把 export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
三条命令加在最下面,保存之后执行命令行:
source /etc/profile
2)执行命令行:
cd /root/install
./installJDK.sh 主机名1 主机名2 主机名3
然后启动tomcat命令行:
cd /root/DKHInstall/bin/
./startup.sh
3)执行vi /opt/dkh/DKM/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
4)执行 vi /opt/dkh/DkSou/bin/catalina.sh
export JAVA_HOME= /opt/dkh/jdk1.7.0_79
export JRE_HOME= /opt/dkh/jdk1.7.0_79/jre
把上面两行命令加到第二行 保存
注意每台机器都要改
8、启动kafka
/opt/dkh/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties >> /opt/dkh/kafka*/config/kafka-server.log 2>&1 &
注意:这是一条命令, 每台机器上都要运行
9、启动dkm dksou
/opt/dkh/DKM/bin/startup.sh
/opt/dkh/DkSou/bin/startup.sh
每台机器都要执行
10、集群免密问题
执行完集群免密之后要SSH一下,看看集群免密是否操作成功。不成功说明对应关系没写好。

相关文章
|
9月前
|
IDE 测试技术 持续交付
网易Airtest全新推出:小型便携式集群解决方案!
网易Airtest全新推出:小型便携式集群解决方案!
118 0
|
9月前
|
安全 算法 数据挖掘
《隐私计算简易速速上手小册》第2章:关键技术介绍(2024 最新版)
《隐私计算简易速速上手小册》第2章:关键技术介绍(2024 最新版)
97 1
《隐私计算简易速速上手小册》第2章:关键技术介绍(2024 最新版)
|
9月前
|
存储 供应链 安全
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
《数据治理简易速速上手小册》第8章 数据生命周期管理(2024 最新版)
152 1
|
9月前
|
消息中间件 数据挖掘 Kafka
《区块链公链数据分析简易速速上手小册》第5章:高级数据分析技术(2024 最新版)(上)
《区块链公链数据分析简易速速上手小册》第5章:高级数据分析技术(2024 最新版)(上)
119 1
|
9月前
|
人工智能 Python
隐私计算实训营 第1期-第4讲 快速上手隐语SecretFlow的安装和部署
文档改进建议:明确Ray, K3S, Kuscia与SecretFlow的关系;结构化部署文档,区分顺序步骤与选择分支;提供从零开始的详细部署教程,补充缺失的前置步骤说明。
|
9月前
|
Linux Docker 容器
隐私计算实训营第4讲-------快速上手隐语SecretFlow的安装和部署
考虑到很多小伙伴可能是初学者之前并没有安装docker 以及docker-compose的经验,本文记录如何在Linux系统上快速的部署docker以及更换国内镜像源。在部署完成以后展示了隐语从源码编译部署以及secretnote的安装,简单快速,非常实用。
279 1
|
9月前
|
存储 监控 数据库
《数据治理简易速速上手小册》第5章 数据整合与存储(2024 最新版)
《数据治理简易速速上手小册》第5章 数据整合与存储(2024 最新版)
113 0
|
9月前
|
开发工具 git Docker
隐私计算实训营 第四讲 快速上手隐语SecretFlow的安装和部署
在两台虚拟机(10.10.101.58:alice, 10.10.104.124:bob)上部署Secretflow,使用docker和`secretflow/secretflow-lite-anolis81.4.0b0`镜像。每台机器上运行docker容器,并通过`docker exec`启动Ray服务(Bob节点在8085端口)。接着,导入secretflow库,配置集群信息并初始化。Secretnode部署通过源码完成,克隆secretnote仓库,进入sim目录,运行`docker-compose up`。展示部署成功后的界面截图。
149 0
|
存储 安全 JavaScript
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
261 0