Linux【脚本 03】shell脚本离线安装配置集结JDK+InfluxDB+Zookeeper+Kafka(安装文件及脚本源码网盘分享)

简介: Linux【脚本 03】shell脚本离线安装配置集结JDK+InfluxDB+Zookeeper+Kafka(安装文件及脚本源码网盘分享)

安装文件及shell脚本网盘分享:

链接:https://pan.baidu.com/s/1ZQE6Chfvur_u_iefhbtFKQ 
提取码:l6nw

包含文件:

以下脚本仅针对特定离线版本安装,方便快速部署。

1.脚本

  • JDK安装脚本:jdkInstall.sh
  • 时序数据库InfluxDB安装脚本:influxdbInstall.sh
  • Zookeeper安装脚本:zookeeperInstall.sh
  • Kafka安装脚本:kafkaInstall.sh

2.使用说明

按需将安装文件与 shell 安装脚本放在同一个文件夹下。

(1)使用 chmod +x *.sh 命令给shell 脚本赋可执行权限。

(2)由于脚本设置了全局变量,执行需要使用 source xxx.sh 命令。

  • source jdkInstall.sh
  • source influxdbInstall.sh
  • source zookeeperInstall.sh
  • source kafkaInstall.sh

2.1 JDK安装脚本

脚本仅适用于jdk-8u241-linux-x64.tar.gz的安装部署。

  • 步骤 (2/3) JAVA_HOME文件夹可自定义,默认为/usr/local/java/jdk1.8.0_241
#!/bin/bash
rm -rf /usr/local/java/jdk1.8.0_241
echo "(1/3): 解压JDK安装文件..."
mkdir -p /usr/local/java/jdk1.8.0_241
tar -zxvf jdk-8u241-linux-x64.tar.gz
sleep 10
echo "(1/3): JDK安装文件解压完毕"
echo "(2/3): 配置JDK环境变量..."
mv -f jdk1.8.0_241/ /usr/local/java
sleep 2
cat <<'EOF' > /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
EOF
sleep 1
source /etc/profile.d/java.sh
echo "JAVA_HOME目录:"${JAVA_HOME}
echo "(2/3): JDK环境变量配置完毕"
echo "(3/3): 验证JDK版本..."
java -version
echo "(3/3): JDK版本验证完毕"

2.2 时序数据库InfluxDB安装脚本

脚本仅适用于influxdb-1.7.6.x86_64.rpm的安装部署。

  • 步骤 (2/6) 配置数据存储位置,根据实际情况进行配置。
  • 步骤 (4/6) 创建admin用户及数据库,根据实际情况进行配置。
#!/bin/bash 
# yum -y remove influxdb.x86_64
echo "(1/6): 安装InfluxDB..."
yum localinstall -y influxdb-1.7.6.x86_64.rpm
echo "(1/6): InfluxDB安装完毕"
echo "(2/6): 配置InfluxDB运行参数..."
mkdir -p /home/influxdb/meta
mkdir -p /home/influxdb/data
mkdir -p /home/influxdb/wal
chown -R influxdb:influxdb /home/influxdb
sed -i "26c dir = \"/home/influxdb/meta\"" /etc/influxdb/influxdb.conf
sed -i "45c dir = \"/home/influxdb/data\"" /etc/influxdb/influxdb.conf
sed -i "48c wal-dir = \"/home/influxdb/wal\"" /etc/influxdb/influxdb.conf
sed -i "247c enabled = true" /etc/influxdb/influxdb.conf
echo "(2/6): InfluxDB运行参数配置完毕"
echo "(3/6): 首次启动InfluxDB..."
systemctl start influxd
sleep 3
systemctl status influxd
echo "(3/6): InfluxDB首次启动完毕"
echo "(4/6): 创建用户及数据库..."
influx  -execute 'create user "dsj" with password '\''dsj'\'' with all privileges;' -format 'json' -pretty
sleep 1
influx  -execute 'create database "sjzt";' -format 'json' -pretty
sleep 1
echo "(4/6): 用户及数据库创建完毕"
echo "(5/6): 开启权限认证并重启InfluxDB..."
sed -i "259c auth-enabled = true" /etc/influxdb/influxdb.conf
systemctl restart influxd
sleep 3
systemctl status influxd
echo "(5/6): 开启权限认证并重启InfluxDB完毕"
echo "(6/6): 配置InfluxDB开机启动..."
cat <<EOF >> /etc/rc.loal
systemctl start influxd
EOF
echo "(6/6): InfluxDB开机启动配置完毕"

2.3 Zookeeper安装脚本

脚本仅适用于apache-zookeeper-3.6.2-bin.tar.gz的安装部署。

  • 步骤 (2/6) 内ZOOKEEPER_HOME可自定义
  • 步骤 (3/6) 内运行参数可配置
  • 步骤 (6/6) 内JAVA_HOME需根据实际情况进行修改,默认为/usr/local/java/jdk1.8.0_241
#!/bin/bash
rm -rf /usr/local/zookeeper
echo "(1/6): 解压Zookeeper安装文件..."
tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz
sleep 10
echo "(1/6): Zookeeper安装文件解压完毕"
echo "(2/6): 配置Zookeeper环境变量..."
mv ./apache-zookeeper-3.6.2-bin/ /usr/local/zookeeper
sleep 2
cat <<'EOF' > /etc/profile.d/zookeeper.sh
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
EOF
sleep 1
source /etc/profile.d/zookeeper.sh
echo "ZOOKEEPER_HOME目录:"${ZOOKEEPER_HOME}
echo "(2/6): 配置Zookeeper环境变量完毕"
echo "(3/6): 配置Zookeeper运行参数..."
cp ${ZOOKEEPER_HOME}/conf/zoo_sample.cfg ${ZOOKEEPER_HOME}/conf/zoo.cfg
sed -i "12c dataDir=/usr/local/zookeeper/data" ${ZOOKEEPER_HOME}/conf/zoo.cfg
sed -i "13i dataLogDir=/usr/local/zookeeper/datalog" ${ZOOKEEPER_HOME}/conf/zoo.cfg
echo "(3/6): Zookeeper运行参数配置完毕"
echo "(4/6): 初次启动Zookeeper..."
zkServer.sh start
sleep 2
zkServer.sh status
echo "(4/6): Zookeeper初次启动完毕"
echo "(5/6): 开启2181端口..."
firewall-cmd --zone=public --add-port=2181/tcp --permanent && firewall-cmd --reload
echo "(5/6): 2181端口开启完毕"
echo "(6/6): Zookeeper加入到service服务并设置开机自启..."
cat <<'EOF' > /etc/rc.d/init.d/zookeeper
#!/bin/bash
# chkconfig: 2345 10 90
# description: service zookeeper
# processname: zookeeper
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
ZOOKEEPER_HOME=/usr/local/zookeeper
case $1 in
     start) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh start;;
     start-foreground) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh start-foreground;;
     stop) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh stop;;
     status) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh status;;
     restart) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh restart;;
     upgrade) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh upgrade;;
     print-cmd) su root ${ZOOKEEPER_HOME}/bin/zkServer.sh print-cmd;;
     *) echo "require start|start-foreground|stop|status|restart|print-cmd";;
esac
EOF
chmod +x /etc/rc.d/init.d/zookeeper
chkconfig --add /etc/rc.d/init.d/zookeeper
chkconfig zookeeper on
echo "(6/6): Zookeeper加入到service服务并设置开机自启完毕"

2.4 Kafka安装脚本

脚本仅适用于kafka_2.12-2.6.0.tgz的安装部署。

  • 步骤 (2/6) 内KAFKA_HOME可自定义,Kafka会存储较多数据,需选择空间较大磁盘。
  • 步骤 (3/6) 内运行参数可配置
  • 步骤 (6/6) 内JAVA_HOME需根据实际情况进行修改,默认为/usr/local/java/jdk1.8.0_241
#!/bin/bash
rm -rf /usr/local/kafka
# 获取local_host值
local_host=`ifconfig|grep "broadcast"|tail -1|awk '{print $2}'`
echo "(1/6): 解压Kafka安装文件..."
tar -zxvf kafka_2.12-2.6.0.tgz
sleep 10
echo "(1/6): Kafka安装文件解压完毕"
echo "(2/6): 配置Kafka环境变量..."
mv ./kafka_2.12-2.6.0/ /usr/local/kafka
sleep 2
cat <<'EOF' > /etc/profile.d/kafka.sh
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
EOF
sleep 1
source /etc/profile.d/kafka.sh
echo "KAFKA_HOME目录:"${KAFKA_HOME}
echo "(2/6): Kafka环境变量配置完毕"
echo "(3/6): 配置Kafka运行参数..."
sed -i "32i listeners=PLAINTEXT://"${local_host}":9092" ${KAFKA_HOME}/config/server.properties
sed -i "61c log.dirs=${KAFKA_HOME}/kafka-logs" ${KAFKA_HOME}/config/server.properties
echo "(3/6): Kafka运行参数配置完毕"
echo "(4/6): 首次启动Kafka..."
kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
echo "(4/6): Kafka首次启动完毕"
echo "(5/6): 开启9092端口..."
firewall-cmd --zone=public --add-port=9092/tcp --permanent && firewall-cmd --reload
echo "(5/6): 9092端口开启完毕"
echo "(6/6): Kafka加入到service服务并设置开机自启..."
cat <<'EOF' > /etc/rc.d/init.d/kafka
#!/bin/bash
# chkconfig: 2345 40 60
# description: service kafka
# processname: kafka
export JAVA_HOME=/usr/local/java/jdk1.8.0_241
KAFKA_HOME=/usr/local/kafka
case $1 in
  start) ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties;;
  stop) ${KAFKA_HOME}/bin/kafka-server-stop.sh;;
  status) ${JAVA_HOME}/bin/jps | grep Kafka;;
  restart) ${KAFKA_HOME}/bin/kafka-server-stop.sh
       ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties;;
  *) echo "require start|stop|status|restart";;
esac
EOF
chmod +x /etc/rc.d/init.d/kafka
chkconfig --add /etc/rc.d/init.d/kafka
chkconfig kafka on
echo "(6/6): Kafka加入到service服务并设置开机自启完毕"

3.更新记录

  • 20220520 kafka脚本修改监听地址从localhost(127.0.0.1)改为获取的本机host值。
目录
相关文章
|
8月前
|
Ubuntu Linux 网络安全
Linux服务器之Ubuntu的安装与配置
Ubuntu Desktop是目前最成功、最流行的图形界面的Linux发行版;而Ubuntu Server也在服务器端市场占据了较大的份额。今天为大家详细介绍了Ubuntu Server的安装与配置,希望对你能有所帮助。关于VMware、VirtualBox等虚拟化软件的使用,朱哥还会在后续的文章中为大家详细介绍,敬请关注!
|
6月前
|
存储 Linux 开发工具
Linux环境下使用Buildroot配置软件包
使用Buildroot可以大大简化嵌入式Linux系统的开发和维护工作,但它需要对Linux系统和交叉编译有深入的理解。通过上述步骤,可以有效地配置和定制软件包,为特定的嵌入式应用构建高效、稳定的系统。
718 11
|
9月前
|
Kubernetes Linux 网络安全
Rocky Linux 8.9配置Kubernetes集群详解,适用于CentOS环境
初始化成功后,记录下显示的 `kubeadm join`命令。
590 0
|
10月前
|
Linux 网络安全 开发工具
在Linux下配置gitee与Github的远程仓库
注意,git push后,是输入你的账号与密码。这个步骤可以通过特殊设置省去,但是一开始还是不要太省。
507 0
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
585 1
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
466 1
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1528 9
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之处理Kafka数据顺序时,怎么确保事件的顺序性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
332 3