在信息化浪潮席卷全球的当下，数字化转型已成为各行各业的核心驱动力，而作为这一进程守护者的运维工作，其重要性与日俱增。面对瞬息万变的IT环境，复杂多元的系统架构，以及日益严苛的服务质量要求，高效的自动化工具与脚本已成为运维人员提升工作效率、确保系统稳定性不可或缺的“秘密武器”。有鉴于此，我倾力编撰了这份精心筛选与整理的Shell脚本合集，旨在为广大的运维同行献上一份诚意满满的“运维人福利”，助您在应对日常运维挑战时如虎添翼，从容不迫。
这份脚本合集，犹如一座蕴藏着丰富矿藏的知识宝库，凝结了我在实战运维工作中积累的点滴智慧与宝贵经验。它深度聚焦服务器监控、故障排查、数据备份与恢复、性能调优、自动化部署等运维核心领域，旨在为每一位身处其中的专业人士提供全方位的支持。无论是初涉运维领域的新人，渴望快速掌握实战技巧，还是久经沙场的资深专家，寻求优化现有流程、提升运维效能的新思路，都能在这份合集中找寻到契合自身需求的解决方案。
每一款脚本均经过真实业务场景的反复打磨与严格测试，秉持着简洁高效、易于理解和使用的理念设计。它们不仅具备高度的灵活性与适应性，能够轻松应对各种复杂运维环境下的多样化需求，而且注释详尽，逻辑清晰，旨在成为您日常工作中随时查阅、快速上手的实用指南。无论是自动化执行例行任务，迅速响应突发事件，还是深入挖掘系统瓶颈，优化资源分配，这些脚本都将化身为您的得力助手，使繁复的运维工作变得有条不紊，事半功倍。
我热忱欢迎所有运维同仁自由取阅、广泛分享这份宝贵的Shell脚本资源，将其融入个人的工作实践中，或是作为团队协作、技能培训的参考资料。它们不仅是提升个人技能、优化工作流程的有效工具，更是增进同行间技术交流、知识共享的优质载体。让我们携手共进，充分运用这份脚本合集所蕴含的技术力量，积极推动运维工作的智能化、自动化进程，共同为构建稳定、高效、可靠的信息化系统保驾护航，为企业的数字化转型之路奠定坚实基础。在这个瞬息万变的数字化时代，让我们以匠心独运的运维智慧，驾驭科技之舟，破浪前行，共创辉煌！
今天我们要分析的是：
从 test.log 中截取当天的所有 gc 信息日志，并统计 gc时间的平均值和时长最长的时间。
#!/bin/bash
awk '{print $2}' hive-server2.log | tr -d ':' | awk '{sum+=$1} END {print "avg:
", sum/NR}' >>capture_hive_log.log
awk '{print $2}' hive-server2.log | tr -d ':' | awk '{max = 0} {if ($1+0 > max+0)
max=$1} END {print "Max: ", max}'>>capture_hive_log.log
脚本结构与变量定义
Bash
1#!/bin/bash
#!/bin/bash：这是“shebang”行，指定使用bash shell执行此脚本。
提取并计算GC时间平均值
Bash
1awk '{print $2}' hive-server2.log | tr -d ':' | awk '{sum+=$1} END {print "avg: ", sum/NR}' >>capture_hive_log.log
- 使用
awk '{print $2}' hive-server2.log从hive-server2.log文件中提取第二列（假设这一列为GC时间）。 - 使用
tr -d ':'命令删除提取出的时间字符串中的冒号（假设GC时间格式为hh:mm:ss）。 - 使用
awk '{sum+=$1} END {print "avg: ", sum/NR}'计算所有时间之和（sum）并除以行数（NR），得出平均值，输出格式为avg: 平均值，并追加到capture_hive_log.log文件中。
提取并计算GC时间最大值
Bash
1awk '{print $2}' hive-server2.log | tr -d ':' | awk '{max = 0} {if ($1+0 > max+0) max=$1} END {print "Max: ", max}'>>capture_hive_log.log
- 使用相同的
awk '{print $2}' hive-server2.log | tr -d ':'命令提取并格式化GC时间。 - 使用
awk '{max = 0} {if ($1+0 > max+0) max=$1} END {print "Max: ", max}'计算最大值：
- 初始化
max为0。 - 对于每一行时间，如果当前行时间大于
max，则更新max为当前行时间。 - 在处理完所有行后，输出最大值，格式为
Max: 最大值，并追加到capture_hive_log.log文件中。
如何使用
- 确认日志格式：确保
hive-server2.log中的GC时间信息位于第二列（可通过cat hive-server2.log | head -n 5查看前几行验证），且时间格式为hh:mm:ss。 - 运行脚本：
- Bash
1./your_script.sh
脚本将从hive-server2.log日志文件中提取当天所有GC时间信息，计算并输出平均值和最大值到capture_hive_log.log文件中。通过分析这些结果，您可以了解Hive Server 2的GC行为，如是否存在长时间GC、GC频率是否过高，从而优化系统性能。
如果想上手操作练代码的同学们可以通过阿里云ecs服务器免费试用参与！
入口：新老同学免费试用
