基于Docker搭建大数据集群(二)基础组件配置

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 基于Docker搭建大数据集群(二)基础组件配置
主要内容
  1. jdk环境搭建
  2. scala环境搭建
  3. zookeeper部署
  4. mysql部署
前提
  • docker容器之间能免密钥登录
  • yum源更换为阿里源
安装包

微云分享 | tar包目录下

  • JDK 1.8.221
  • Scala 2.12.9
  • Zookeeper 3.5.5
  • Mysql 手动安装较复杂,使用yum安装

一、安装包处理

发送文件到容器

docker cp 文件地址 容器ID:容器地址

创建解压目录

mkdir /opt/jdk
mkdir /opt/scala
mkdir /opt/zookeeper
mkdir /opt/mysql

解压文件

tar xivf tar包 -C /opt/对应目录

二、配置环境变量

编辑配置文件

root用户vim ~/.bash_profile非root用户只对当前用户生效vim /home/用户名/.bash_profile

追加以下内容
JAVA_HOME=/opt/jdk/jdk1.8.0_221
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
SCALA_HOME=/opt/scala/scala-2.12.9
PATH=$PATH:$SCALA_HOME/bin
export SCALA_HOME
ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5-bin
PATH=$PATH:$ZK_HOME/bin
export ZK_HOME
使配置文件生效

root用户,对所有用户生效source ~/.bash_profile非root用户,只对当前用户生效source /home/用户名/.bash_profile

测试Java是否安装成功

java -version

测试scala是否安装成功

scala -version

三、zookeeper部署

zookeeper新的版本-bin的使编译后的包,与之前是反的。。得注意下

新建或复制zoo.cfg

cp zoo_sample.cfg zoo.cfg

追加以下内容
server.1=172.15.0.2:2888:3888
server.2=172.15.0.3:2888:3888
server.3=172.15.0.4:2888:3888
创建myid文件

zoo.cfg中有个dataDir属性,在后面的目录下面创建一个myid文件,内容就是当前节点号

172.16.0.2 --> 1

172.16.0.3 --> 2

172.16.0.4 --> 3

启动

zkServer.sh start

四、Mysql部署

下载官方yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

安装yum Repository

yum -y install mysql57-community-release-el7-10.noarch.rpm

安装mysql

yum -y install mysql-community-server

启动mysql

systemctl start mysqld.service

查看状态

systemctl status mysqld.service

获取默认密码

grep "password" /var/log/mysqld.log

登录

mysql -uroot -p

更改密码策略

set global validate_password_policy=0;set global validate_password_length=1;

修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

设置可视化客户端连接

grant all on *.* to root@'%' identified by 'root';

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
Kubernetes 关系型数据库 文件存储
手把手教你完成极空间 NAS Docker 镜像加速配置
本教程详细介绍了如何在极空间NAS上配置轩辕镜像加速器,以提升Docker镜像的下载速度与稳定性。内容涵盖账号注册、网络确认、加速器设置及验证方法,并提供常见问题解决方案,帮助用户高效完成容器化应用部署。
2460 1
|
7月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
205 1
|
8月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
9月前
|
Prometheus 监控 Cloud Native
Prometheus配置docker采集器
本文介绍了如何使用 Prometheus 监控 Docker 容器,涵盖环境准备、配置文件编写及服务启动等步骤。首先确保安装 Docker 和 Docker Compose,接着通过 `docker-compose.yml` 配置 Prometheus 和示例应用。创建 `prometheus.yml` 指定数据采集目标,最后用 `docker-compose up -d` 启动服务。文章还展示了甘特图和类图,帮助理解服务状态与关系,助力提升系统可靠性和可维护性。
365 11
|
6月前
|
文件存储 数据安全/隐私保护 开发者
群晖NAS Docker镜像源加速配置教程
本教程介绍了群晖NAS用户如何通过配置轩辕镜像加速服务提升Docker镜像拉取速度。内容包括配置前准备、详细设置步骤及日常使用说明,帮助用户快速完成配置并享受高效稳定的镜像下载体验。
4275 60
|
Docker 容器 文件存储
飞牛fnOS Docker镜像加速配置全攻略
本文介绍了如何在飞牛fnOS中配置Docker镜像加速服务,通过设置轩辕镜像仓库加速器,提升镜像拉取速度与稳定性。内容涵盖配置前准备、加速源设置、首选加速源调整及使用指南,帮助用户高效完成镜像操作。
4026 56
|
6月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
6月前
|
Java 分布式数据库 Docker
使用Docker配置并连接HBase的Java API
本流程概要的解释了如何在Docker上配置并启动HBase服务,并通过Java API进行连接和操作表,不涉及具体的业务逻辑处理和数据模型设计,这些因应用而异需由开发者根据实际需求进行实现。
320 13
|
7月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
903 4