做运维时间久了会发现，并不是所有告警都值得紧张。有些告警看起来吓人，实际上只是业务高峰期的正常波动；而有些告警平时容易被忽略，一旦出现，往往意味着故障已经在路上了。
很多线上事故复盘都会发现一个共同点：问题其实早就有征兆，只是当时没重视。
如果要从日常运维工作中挑出最值得关注的几类告警，我认为下面这五种一定排得上号。
- 磁盘空间持续增长告警
磁盘告警是最容易忽视的一类告警。因为磁盘空间不像CPU那样会突然飙高，它往往是一个缓慢积累的过程。日志没有及时轮转、数据库备份长期未清理、临时文件不断堆积、Docker镜像越来越多，这些问题刚开始都不会影响业务运行，但磁盘使用率会一点点上涨。
不少团队习惯把告警阈值设置在90%以上，认为还有10%的空间可以缓冲。实际上，当磁盘使用率长期超过80%时，就应该开始排查原因。因为真正等到磁盘被写满，受到影响的往往不仅仅是某一个应用，而是整台服务器。
数据库无法写入、日志停止记录、上传功能失败，甚至部分系统服务异常退出，都可能由磁盘空间耗尽引发。
- 内存持续上涨告警
相比CPU使用率，内存增长趋势往往更值得关注。尤其是在Java、Python以及各种中间件服务中，很多问题并不会立刻暴露出来，而是以一种缓慢增长的方式持续积累。刚开始只是内存比平时高一点，然后越来越高，最终触发OOM，导致服务被系统强制终止。
这类问题背后通常涉及内存泄漏、缓存配置不合理、连接资源未释放或者程序设计缺陷。
很多团队习惯只关注当前内存占用率，却忽略了趋势变化。事实上，一个长期稳定在70%的服务未必有问题，而一个从40%持续增长到70%的服务反而更值得警惕。因此在监控体系中，比起单纯关注数值大小，更应该关注内存是否出现持续增长且无法回落的情况。
- 系统负载异常升高告警
负载告警也是最容易被误解的一类告警。很多人看到Load Average升高，第一反应就是CPU资源不足。但实际上，负载高并不一定意味着CPU繁忙。
曾经有一次线上系统响应时间明显变慢，监控显示CPU利用率只有30%左右，但系统负载已经超过20。经过排查发现，问题并不在CPU，而是底层磁盘出现异常，导致大量进程处于等待状态。
除了磁盘IO问题之外，网络阻塞、锁竞争、进程卡死等情况同样可能导致系统负载异常升高。因此当负载持续增长时，不能只盯着CPU指标，而应该结合进程状态、磁盘IO、网络连接和系统资源一起分析。很多看似简单的负载告警，背后往往隐藏着更深层次的问题。
- SSH异常登录告警
如果服务器开放在公网环境中，那么几乎每天都会遭遇各种扫描和攻击尝试。不少运维人员认为自己的服务器业务规模不大，不会成为攻击目标。但现实情况是，现在大部分攻击行为都来自自动化扫描工具。它们会持续探测开放端口，并尝试使用各种常见账号和密码进行登录。
曾经有一台测试服务器，在一天时间内出现了上万次SSH登录失败记录。虽然最终没有造成损失，但如果服务器存在弱密码、长期未更新补丁或者允许Root直接远程登录，风险会迅速增加。
因此，当登录失败次数突然激增、出现异常地区访问记录或者非工作时间发生敏感登录行为时，都应该引起足够重视。很多安全事故在真正发生之前，其实早已经通过登录告警发出了信号。
- 服务存活异常告警
对于业务系统来说，最重要的指标从来不是CPU、内存或者磁盘。用户真正关心的只有一件事：服务能不能正常访问。
现实中经常会遇到一种情况，服务器资源一切正常，但业务已经无法使用。例如应用线程被阻塞、数据库连接池耗尽、Java进程假死或者Web服务异常退出。这种情况下，服务器监控看起来没有问题，但用户已经无法下单、登录或者完成业务操作。
因此，一个成熟的监控体系不仅要监控服务器本身，还要监控应用服务的真实可用性。很多时候，服务存活状态告警比资源告警更能提前反映业务风险。
告警真正重要的是质量
很多团队在建设监控平台时，总希望把所有指标都纳入监控范围。结果监控项越来越多，告警规则越来越复杂，每天收到几百条甚至上千条消息。久而久之，大家开始习惯性忽略告警。真正出现严重故障时，关键告警反而被淹没在大量噪声之中。
事实上，告警体系并不追求告警数量，而是追求告警价值。能够在故障发生前准确发现问题，并将真正重要的信息及时通知到相关人员，远比每天发送大量无效告警更有意义。
对于很多中小企业而言，服务器数量虽然不算多，但往往缺少专职运维团队。监控平台搭建起来并不困难，真正困难的是如何建立一套有效的告警体系。据了解，像江苏立维这样的运维服务商，在为企业提供云运维和业务稳定性服务时，会重点关注监控和告警治理能力，通过告警聚合、异常分析和定期巡检来降低告警噪声，提高问题发现效率。对于研发团队规模有限的企业来说，提前发现问题往往比事后处理问题更重要。
很多故障从来不是突然发生的。在真正宕机之前，它们通常已经通过磁盘、内存、负载、登录行为或者服务状态发出过预警。区别只在于，当那条告警出现时，你是否看到了它，又是否足够重视它。
