备案控制台
开发者社区 大数据与机器学习 文章 正文

自动化运维脚本集合

2023-12-25 70
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
大数据开发治理平台 DataWorks，不限时长
推荐场景：
Github实时数据分析与可视化
简介： 自动化运维脚本集合

使用说明

备份指定目录

# 备份指定目录文件到指定目录,备份文件名称为：备份目录最后一层目录+"_"+日期.tar.gz
# 第一个参数：backdir 第二参数：备份文件保存目录 第三个参数：备份目录/文件
sh script.sh backdir /root/ /home

查看CPU、磁盘、内存使用率

sh script.sh baseinfo

返回结果

2023-04-03 13:08:44 CPU usage: 0.0, Memory usage: 9.39%, Disk usage: 19%

关闭防火墙

sh script.sh stopFirewall

开启防火墙

sh script.sh startFirewall

显示基础信息-详细

sh script.sh info

查看进程pid，启动时间，持续执行时间

sh script.sh pstime 进程名/id

根据进程id查看工作目录

sh script.sh psdir 15008

清除Linux系统占用缓存

sh script.sh dropCache

查看端口是否使用

# 第一个参数脚本名称 ，第二个参数ip，第三个参数端口
sh scripte.sh ping-port

demo：

sh scripte.sh ping-port
> 端口 80 无法访问 127.0.0.1

查看进程使用的端口

sh scripte.sh processor-port 进程信息

demo

sh 1.sh processor-port 15008
-------------------------------------------------
所有进程ID:14746 14749 15008
-------------------------------------------------
进程ID:14746
进程 15008 没有占用任何端口。
-------------------------------------------------
进程ID:14749
进程 15008 没有占用任何端口。
-------------------------------------------------
进程ID:15008
进程 15008 占用的端口号：1234
12345
16798
25333
50052
5678
-------------------------------------------------

查看端口所在进程

sh scripte.sh processor-port 5678

demo

sh scripte.sh processor-port 5678
> 端口  对应的进程是 java，PID 是 15008。

查看目录下各目录占用空间以及最大文件或目录

 sh script.sh duh /var/lib

demo

# sh 1.sh duh /var/lib
28K     /var/lib/polkit-1
76K     /var/lib/systemd
692K    /var/lib/cloud
13M     /var/lib/yum
132M    /var/lib/rpm
25G     /var/lib
25G     /var/lib/clickhouse
占用存储空间最大的目录是：
25G     /var/lib/clickhouse

查看内存使用前十的进程

sh script.sh top-mem

查看CPU使用前十的进程

sh script.sh top-cpu

脚本内容

#!/bin/bash

# 备份指定目录文件到指定目录,备份文件名称为：备份目录最后一层目录+"_"+日期.tar.gz
# 第一个参数：backdir 第二参数：备份文件保存目录 第三个参数：备份目录/文件
backdir(){
    # 备份文件保存目录
    BACKUP_DIR=`echo $2`

    # 备份目录
    SOURCE_DIR=`echo $3`
    FILE_NAME=`basename "$SOURCE_DIR"`
    # 备份文件名称
    BACKUP_FILE=$FILE_NAME\_$(date +%Y%m%d).tar.gz
    #如果备份文件保存目录不存在则创建
    if [ ! -d "$BACKUP_DIR" ]; then
      mkdir -p $BACKUP_DIR
    fi
    # 创建备份文件
    tar -zcvPf $BACKUP_DIR/$BACKUP_FILE $SOURCE_DIR
}

# 内存，cpu，磁盘使用
baseinfo(){

    # CPU usage
    CPU_USAGE=$(top -b -n 1 | grep "^%Cpu" | awk '{print $2}')

    # Memory usage
    MEM_USAGE=$(free | awk 'NR==2{printf "%.2f%%", $3/$2*100}')

    # Disk usage
    DISK_USAGE=$(df -h / | awk 'NR==2{print $5}')

    # Write results to log file
    echo "$(date +"%Y-%m-%d %H:%M:%S") CPU usage: $CPU_USAGE, Memory usage: $MEM_USAGE, Disk usage: $DISK_USAGE" 
}

# 开启防火墙
startFirewall(){
              # 获取 Linux 系统版本
        OS=$(awk -F= '/^NAME/{print $2}' /etc/os-release)
          # 根据系统版本执行相应的命令启动防火墙
        if [[ $OS == *"CentOS"* || $OS == *"Red Hat"* ]]; then
            systemctl start firewalld
            systemctl enable firewalld
            systemctl start iptables
            systemctl enable iptables
            systemctl status iptables
            systemctl status firewalld
            echo "Firewall has been started and enabled successfully."
        elif [[ $OS == *"Ubuntu"* || $OS == *"Debian"* ]]; then
            ufw enable
            echo "Firewall has been enabled successfully."
        else
            echo "Unsupported operating system."
            exit 1
        fi
}
#关闭防火墙
stopFirewall(){
        # 获取 Linux 系统版本
        OS=$(awk -F= '/^NAME/{print $2}' /etc/os-release)

        # 根据系统版本执行相应的命令关闭防火墙
        if [[ $OS == *"CentOS"* || $OS == *"Red Hat"* ]]; then
            systemctl stop firewalld
            systemctl disable firewalld
            systemctl stop iptables
            systemctl disable iptables
            systemctl status iptables
            systemctl status firewalld
            echo "Firewall has been stopped and disabled successfully."
        elif [[ $OS == *"Ubuntu"* || $OS == *"Debian"* ]]; then
            ufw disable
            echo "Firewall has been disabled successfully."
        else
            echo "Unsupported operating system."
            exit 1
        fi
}

# 查看进程pid，启动时间，持续执行时间
pstime(){
  ps -eo pid,lstart,etime,cmd | grep $2
}

# 根据进程ID查看进程工作目录
psdir(){
  ls -l /proc/$2/cwd 
}

# 释放缓存
dropCache(){
    sync
    echo 3 > /proc/sys/vm/drop_caches
}

# 第二个参数ip，第三个参数端口
pingPort(){
        # 定义IP地址和端口
        IP_ADDRESS=`echo $2`
        PORT=`echo $3`

        # 检查nc命令是否已经安装，如果未安装，则尝试安装
        if ! command -v nc &> /dev/null; then
            if command -v apt-get &> /dev/null; then
                sudo apt-get update && sudo apt-get -y install netcat
            elif command -v yum &> /dev/null; then
                sudo yum install -y nc
            else
                echo "无法自动安装nc命令，请手动安装后重试。"
                exit 1
            fi
        fi

        # 使用nc命令检查IP地址和端口是否可用
        if nc -z -w 2 $IP_ADDRESS $PORT; then
            echo "端口 $PORT 可以访问 $IP_ADDRESS"
        else
            echo "端口 $PORT 无法访问 $IP_ADDRESS"
        fi
}

# 查看进程使用的端口号
# 第二个参数出入安需要查询的进程，可以为pid，也可以为进程名称
catProcessorPort(){
                echo "-------------------------------------------------"
        PROCESS_NAME=`echo $2`

        # 使用pidof命令查找进程ID
        PID=$(pidof $PROCESS_NAME)

        # 如果找不到进程ID，则使用ps命令查找
        if [ -z "$PID" ]; then
            PID=$(ps -ef | grep $PROCESS_NAME | grep -v grep | awk '{print $2}')
        fi
        echo 所有进程ID:$PID
        # 如果还是找不到进程ID，则输出错误信息并退出
        if [ -z "$PID" ]; then
            echo "找不到进程 $PROCESS_NAME。"
            exit 1
        fi

        for PID2 in $PID; do
                echo "-------------------------------------------------"
            echo 进程ID:$PID2
            # 使用lsof命令查找进程占用的端口号
            PORTS=$(lsof -nP -p $PID2 | grep LISTEN | awk '{print $9}' | cut -d':' -f2 | sort -u)

            # 输出占用端口号
            if [ -n "$PORTS" ]; then
                echo "进程 $PROCESS_NAME 占用的端口号：$PORTS"
            else
                echo "进程 $PROCESS_NAME 没有占用任何端口。"
            fi
        done
        echo "-------------------------------------------------"

}

# 查看使用端口的进程pid
# 第二个参数为端口号
catPortProcessor(){
        catPortProcessorPort=`echo $2`
    # 使用 lsof 命令查询端口号对应的进程
    pid=$(sudo lsof -t -i:$catPortProcessorPort)

    # 如果找到了进程，打印进程名称和 PID
    if [ ! -z "$pid" ]; then
      process_name=$(ps -p $pid -o comm=)
      echo "端口 $port 对应的进程是 $process_name，PID 是 $pid。"
    else
      echo "端口 $port 没有被占用。"
    fi
}

# 查看哪个目录占用磁盘空间大
# 第二个参数为：需要查看的目录
duh(){
        directory=`echo $2`

    # 遍历目录并计算大小
    du -h -d 1 $directory | sort -h

    # 输出占用存储空间最大的目录
    echo "占用存储空间最大的目录或文件是："
    du -sh $directory/* | sort -hr | head -n 1
}

# 使用内存最多的前十个进程
topMem(){
        echo "下面是 内存 占用率最高的前 10 个进程："
        echos
        echo "进程ID 内存使用大小 启动命令"
        ps aux --sort=-%mem | head -n 11 | tail -n 10 | awk '{print $2,$6/1024"M",$11}'
        echos
}

# 使用CPU最多的前十个进程
topCpu(){
        echo "下面是 CPU 占用率最高的前 10 个进程："
        echos
        echo "进程ID cpu占用率 启动命令"
    ps aux --sort=-%cpu | head -n 11 | tail -n 10 | awk '{print $2,$3,$11}'
    echos
}

# 查看有多少远程的 IP 在连接本机(不管是通过 ssh 还是 web 还是 ftp 都统计) 
# 使用 netstat ‐atn 可以查看本机所有连接的状态,‐a 查看所有,
# -t仅显示 tcp 连接的信息,‐n 数字格式显示
# Local Address(第四列是本机的 IP 和端口信息)
# Foreign Address(第五列是远程主机的 IP 和端口信息)
# 使用 awk 命令仅显示第 5 列数据,再显示第 1 列 IP 地址的信息
# sort 可以按数字大小排序,最后使用 uniq 将多余重复的删除,并统计重复的次数
connectIp(){
        echo "连接数量 来源IP端口"
        # 第一列是连接数量，第二列是连接ip:port
        netstat -atn  |  awk  '{print $5}'  | awk  '{print $1}' | sort -nr  |  uniq -c
}

# 查看网卡流量
iftop(){
   sudo yum -y install iftop
   echo "请手动输入命令查看流量：iftop -P"
}

# 显示系统基础信息
info(){
    # 获取系统 CPU 数量
    cpu_logical_count=$(nproc)
    cpu_physical_count=$(grep "physical id" /proc/cpuinfo | sort -u | wc -l)

    # 获取系统内存总容量、已使用内存量和可用内存量
    mem_total=$(grep MemTotal /proc/meminfo | awk '{print $2}')
    mem_used=$(free -m | awk 'NR==2{print $3}')
    mem_available=$(free -m | awk 'NR==2{print $4}')

    # 获取系统磁盘总容量、已使用磁盘空间和可用磁盘空间
    disk_total=$(df -BG --total | awk 'END{print $2}')
    disk_used=$(df -BG --total | awk 'END{print $3}')
    disk_available=$(df -BG --total | awk 'END{print $4}')

    # 获取系统 CPU 使用率
    cpu_usage=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1"%"}')

    # 将容量单位转换为 GB
    #disk_total=$(echo "scale=2;$disk_total/1024" | bc)
    #disk_used=$(echo "scale=2;$disk_used/1024" | bc)

    # 显示基础监控信息
    echo "系统 CPU 数量（逻辑处理器数量）：$cpu_logical_count"
    echo "系统 CPU 数量（物理处理器数量）：$cpu_physical_count"
    echo "系统内存总容量：$((mem_total / 1024)) MB"
    echo "系统已使用内存量：$mem_used MB"
    echo "系统可用内存量：$mem_available MB"
    echo "系统磁盘总容量：$disk_total GB"
    echo "系统已使用磁盘空间：$disk_used GB"
    echo "系统可用磁盘空间：$disk_available GB"
    echo "系统 CPU 使用率：$cpu_usage"
}

echos(){
    echo "-------------------------------------------------"
}

case "$1" in
              'backdir')
          backdir $*
                ;;
        'baseinfo')
          baseinfo
                ;;
        'stopFirewall')
                    stopFirewall
                ;;
        'startFirewall')
          startFirewall
                ;;
        'pstime')
          pstime $*
                ;;
        'psdir')
        psdir $*
        ;;
         'dropCache')
        dropCache
        ;;
         'ping-port')
        pingPort $*
        ;;
         'processor-port')
        catProcessorPort $*
        ;;
         'port-processor')
        catPortProcessor $*
        ;;
         'duh')
        duh $*
        ;;
          'top-mem')
        topMem 
        ;;
          'top-cpu')
        topCpu 
        ;;
          'connect-ip')
        connectIp
        ;;
         'iftop')
        iftop
        ;;
         'info')
        info
        ;;
        *)
          echo -e "需要传入指定参数，可用参数:\n\tbackdir:第一个参数：backdir 第二参数：备份文件保存目录 第三个参数：备份目录/文件\n\tbaseinfo:查看CPU、磁盘、内存使用率\n\tstopFirewall:关闭防火墙\n\tstartFirewall:开启防火墙\n\tpstime:查看进程pid，启动时间，持续执行时间。第一个参数：pstime，第二个参数：进程名/进程id\n\tpsdir:查看进程工作目录\n\tdropCache:清除Linux系统占用缓存\n\tping-port:查看端口是否使用\n\tprocessor-port:查看进程使用端口\n\tport-processor:查看端口被哪个进程使用\n\tduh:查看目录下各目录占用空间以及最大文件或目录.第一个参数：duh，第二个参数：需要统计的目录\n\ttop-mem:查看内存使用前十的进程\n\ttop-cpu:查看CPU使用前十的进程"
                exit 1
esac

一键下载应用

下载安装到环境变量

sudo curl -L http://linux.hadoop.wiki/jastool.sh -o /usr/bin/jastool && sudo chmod +x /usr/bin/jastool

使用方法

jastool info

文章标签：
云防火墙
运维
网络安全
Linux
缓存
关键词：
自动化脚本
运维脚本
运维脚本集合
Jast
目录
相关文章
一歲抬頭
|
20天前
|
Linux Shell Perl
自动化脚本之Debian 开机时运行通过expect自动执行串口命令
自动化脚本之Debian 开机时运行通过expect自动执行串口命令
一歲抬頭
18 0
风水道人
|
1月前
|
运维 Java Shell
Linux非常详细的shell运维脚本一键启动停止状态SpringBoot打成可运行jar包
Linux非常详细的shell运维脚本一键启动停止状态SpringBoot打成可运行jar包
风水道人
34 0
一歲抬頭
|
20天前
|
安全 Linux Android开发
自动化脚本之文件搜索显示
自动化脚本之文件搜索显示
一歲抬頭
16 0
陌陌谣
|
5天前
|
JSON 监控 测试技术
Groovy脚本编写员工上网行为监控自动化测试
本文介绍了如何使用Groovy脚本创建一个自动化工具来监控员工的网络活动。通过编写简单脚本记录员工访问的网站并打印信息，可进一步扩展为将数据保存至数据库。此外，通过设定定时任务，实现了每30分钟自动监控一次的功能。最后，展示了如何将监控数据转换为JSON格式并使用HTTP POST请求提交到网站，以实现数据的自动化上报，有助于企业保障网络安全、保护数据并提升工作效率。
陌陌谣
47 5
Byyyi
|
7天前
|
SQL 关系型数据库 MySQL
【简单无脑】自动化脚本一键安装虚拟机下的MySQL服务
该文章提供了在虚拟机上安装MySQL服务的简化方法，特别是针对新手。作者提供了一个自动化脚本`install_mysql.sh`，使得安装过程更简单。用户需要下载`install.rpm`资源，将其放在指定目录下，然后创建并编辑脚本文件，将提供的代码粘贴进去，通过`chmod u+x`授权，最后运行脚本`./install_mysql.sh [rpm文件路径]`来安装MySQL。文章还附有相关图片说明。
Byyyi
18 1
【简单无脑】自动化脚本一键安装虚拟机下的MySQL服务
Byyyi
|
7天前
|
SQL 缓存 关系型数据库
MySQL常见问题解决和自动化安装脚本
这篇内容包含了两个主要部分：解决MySQL登录问题和处理GPG密钥问题。当MySQL密码正确但无法登录时，可以通过执行SQL命令`ALTER USER`和`flush privileges`来修改和重置密码。对于MySQL安装时的GPG密钥错误，首先需要强制删除旧的MySQL仓库包，导入新的GPG公钥，然后安装MySQL服务器。如果遇到GPG检查错误，可以使用`--nogpgcheck`参数忽略检查来安装。最后，提供了一个自动化安装MySQL的脚本，用于检查旧版本、卸载残留、安装MySQL8并启动服务。
Byyyi
22 1
MySQL常见问题解决和自动化安装脚本
魏红斌
|
12天前
|
弹性计算 运维 Shell
动态环境变量配置与部署自动化脚本
【4月更文挑战第30天】
魏红斌
25 0
魏红斌
|
12天前
|
存储 弹性计算 运维
自动化收集员工信息的Shell脚本
【4月更文挑战第30天】
魏红斌
11 0
桃李春风一杯酒
|
13天前
|
机器学习/深度学习 人工智能 供应链
【专栏】阿里云RPA的Rap程序是自动化流程脚本，基于AI和机器学习，实现业务流程自动化
【4月更文挑战第29天】阿里云RPA的Rap程序是自动化流程脚本，基于AI和机器学习，实现业务流程自动化。具有灵活性、易用性、高效稳定和智能学习等特点。广泛应用于财务、人力资源、客服和供应链等领域，未来将与AI深度融合，跨平台应用，行业定制化，并构建完善生态，助力企业效率提升和创新。
桃李春风一杯酒
37 2
桃李春风一杯酒
|
14天前
|
网络协议 安全
【专栏】`curl`是广泛用于网络编程和自动化脚本的命令行工具，支持HTTP、HTTPS等协议
【4月更文挑战第28天】`curl`是广泛用于网络编程和自动化脚本的命令行工具，支持HTTP、HTTPS等协议。在处理大文件或慢速服务器时，设置超时参数至关重要。本文介绍了`curl`的超时参数，如`-m`(最大操作时间)、`-c`(连接超时)、`--dns-timeout`(DNS解析超时)和`-t`(时间条件)。通过示例展示了如何设置这些超时，并提到了一些高级技巧和注意事项，如错误处理和带宽限制。合理设置超时能提高效率和可靠性，对编写健壮的自动化脚本非常有用。
桃李春风一杯酒
29 0

大数据与机器学习

热门文章

最新文章

  • 1
    Transformer 一起动手编码学原理
  • 2
    围绕 transformers 构建现代 NLP 开发环境
  • 3
    阿里云开源离线同步工具DataX3.0介绍
  • 4
    odps是什么?
  • 5
    拍立淘-以图搜图中的图像搜索算法
  • 6
    数据仓库介绍与实时数仓案例
  • 7
    大数据分析平台之 OLAP 架构的最佳实践
  • 8
    美柚：最懂女性App背后的混合云架构与大数据服务
  • 9
    MaxCompute执行作业慢的原因排查
  • 10
    优酷背后的大数据秘密
  • 1
    Transformers 加速的一些常用技巧
    5
  • 2
    算法人生（1）：从“强化学习”看如何“战胜拖延”
    21
  • 3
    You Only Cache Once:YOCO 基于Decoder-Decoder 的一个新的大语言模型架构
    12
  • 4
    使用go实现一个BST平衡树
    13
  • 5
    用爬虫解决问题
    46
  • 6
    Java一分钟之-Lambda表达式与函数式接口
    16
  • 7
    Java一分钟之-Java内部类与匿名类
    17
  • 8
    Java一分钟之-Java注解的理解与应用
    11
  • 9
    Java一分钟之-Java反射机制：动态操作类与对象
    11
  • 10
    Java一分钟之线程池：ExecutorService与Future
    15

    • 相关课程

    更多
  • 企业运维之云上网络原理与实践课程
  • MSE微服务测试最佳实践 - 自动化回归
  • 企业级运维之云原生与Kubernetes实战课程
  • 面向运维的 python 脚本速成-1024程序员节创造营公益课
  • Linux企业运维实战 - 入门及常用命令
  • 玩转云上智能运维

    • 相关电子书

    更多
  • 可视化架构运维实践
  • 2021云上架构与运维峰会演讲合集
  • MySQL 技术大全：开发、优化与运维实战

    • 相关实验场景

    更多
  • 云原生场景自动化响应ECS系统事件
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • 企业级云上网络构建
  • 使用物联网平台远程管理运维设备
  • 容器DevSecOps全链路体验
  • 消息队列RocketMQ版：消费异常运维排查体验
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）