注:本文中 SysOM 为阿里云操作系统控制台运维组件。SysOM 巡检 Skill 与之前发布的 SysOM 诊断 Skill,后续都将纳入即将发布的 SysOM 技能包,共同构成“巡检 + 诊断”的完整能力。
凌晨两点被叫醒的运维同学都懂——比“出事”更难受的,是明明数据都在,却拼不出下一步该做什么。
不久前,阿里云操作系统控制台发布了 SysOM 诊断 Skill,把“告警响了之后、登录机器手动查根因”这段路交给了 Agent。但我们深知,诊断解决的是“出了问题查根因”,而更好的方式是在问题发生前就发现隐患。
基于这一理念,今天,阿里云操作系统控制台接着将 SysOM 巡检 Skill 一同开源。后续它将与 SysOM 诊断 Skill 一同纳入即将发布的 SysOM 技能包,形成“巡检发现问题 → 诊断定位根因 → 给出处置建议”的完整闭环,让 Agent 既能事后止损,更能事前预防。
“黑色”星期四
那是一个普通的星期四凌晨。小林被值班群的@全体成员炸醒,屏幕亮起的一瞬间,他看到的是一条冷冰冰的提示:
“生产环境某实例内存使用率 91.90%,已持续 30 分钟。”
然后呢?然后是所有做过运维的人都经历过的那套动作:
打开跳板机,登录机器,敲下top ——满屏的进程刷过去,一时之间根本分不清哪个是关键的;再敲一个 free -h ,空闲内存只剩一百多兆;再看 /proc/meminfo ,Anonymous 页占用异常高;顺手拉了个群,把 SRE、DBA、业务开发都叫进来“先看看”;有人问是不是缓存没释放,有人怀疑是不是应用泄漏,有人建议先重启……
那一夜,从收到告警到定位到那个占了 12.95 GB 内存的 python 进程,团队花了将近四十分钟。业务在下一波流量到来之前险险稳住,但小林心里清楚——这次是运气好。
如果那天晚上,他手里有 SysOM 巡检 Skill,这一切本可以是另一个样子。
同一个故障,另一种走法
还是同一台机器,还是同一个内存飙高的时刻。这一次,SysOM 巡检 Skill 已经在做例行巡检。37.4 秒后,一份完整的报告落到了小林手里:
19 项巡检执行完毕,18 项 Normal,1 项 Error 命中:内存使用率 91.90%。空闲内存只剩 161 MB——再一波流量,OOM 就在门口。
可这次,报告没有停在“内存高了”这句话上。命中的一刻,memgraph 深度诊断被自动串起来,答案直接摆在了下一屏:
巡检和诊断定位到,用户的 python 进程独占 12.95 GB 匿名内存,占系统总内存约 83%,是本次内存飙高的直接原因。TOP10 里其他所有进程加起来还不到 600 MB,可以直接排除“零散占用叠加”的可能。
小林现在要做的只剩一件事:确认这个 python 进程是不是预期行为。如果不是,一个 kill 就能把 12 GB 内存还回来。
从叫醒到处置,从四十分钟压到不到五分钟。
真正省下来的,不止是那几十分钟
凌晨被叫醒的代价,从来不只是几十分钟的加班。它包括值班同学第二天下午三点就开始的困倦,包括拉群时被打扰的另外五个人的注意力,包括业务方那句“是不是又出事了”背后的信任消耗,包括高峰窗口下每一秒的不确定性。这些账,很难算清,但每一个做过运维的人都心里有数。
把这些成本乘以一年三百六十五天,再乘以团队规模,就是稳定性投入真正的账本。SysOM 巡检 Skill 想改的,不是那几十分钟本身,而是它背后那个“依赖个人经验、依赖临场发挥、依赖谁今晚比较清醒”的模式——把运维经验,变成组织能力。
星期四凌晨的故事,可以是四十分钟的手忙脚乱,也可以是三十七秒的一份报告。SysOM 巡检 Skill 想让每一次巡检都少一点意外,多一点结论——让你的机器,在下一次波峰到来之前,就已经准备好了。
从发现异常,到定位根因,再到可执行建议,让每一次巡检,都离业务稳定更近一步。
巡检本来应该回答什么问题
很多团队在巡检领域深耕多年,有效解决了“有没有异常”的基础发现问题。而在真实运维场景中,当告警响起时,一线同学更关注的是三个进阶问题:这个异常的严重程度如何?最可能的根因在哪里?下一步该由谁采取什么行动?
SysOM 巡检 Skill 正是为了将这三个问题的解答能力前置,融入巡检环节本身。目前产品已覆盖 40 余项巡检能力,横跨系统负载、内存使用率、磁盘读写时延、调度延迟、文件句柄、线程资源、根分区与 inode、socket leak、tcp/udp 内存、多类内存泄漏风险等维度,从基础性能指标到内核态风险,将引发故障的关键信号全面纳入巡检视野。
对高风险场景,它不是发出提示就完事,而是自动联动 SysOM 诊断 Skill,覆盖负载、内存、网络、磁盘、调度等多个操作系统子系统,把排查链路一路串到根因这一层。内部评测里,异常识别整体准确率在 80% 以上,高风险项的误判率是 0——换句话说,当它告诉你“这里有高风险”的时候,它没有在喊狼来了。
我们做了一组对照实验
SysOM 巡检 Skill 里沉淀了一套内核专家的排查经验——让 AI 处理 Linux 系统问题时,不再靠模型自己“想想看”,而是直接调用一套经过验证的排查路径。为了看看这套经验到底管不管用,我们拉了 16 类真实的操作系统故障场景,做了一轮对照评测:一组 Agent 接入 SysOM 巡检 Skill,另一组只靠通用能力硬查。
先看效率。面对同一类系统问题,接入 Skill 后的 Agent 在对话轮次、工具调用次数和整体耗时上都大幅下降,不再需要反复尝试、命令拼接,而是直接沿着专家路径一步到位。对于往往需要多人拉群、多工具交叉验证的系统故障来说,这里省下的不只是推理时间,还有一线的注意力和上下文切换成本。
再看准确率。整体看,接入 Skill 后的 Agent 在内核类问题的定位准确率上相比基线有明显提升。拆到具体场景,差距尤其集中在那些需要专家判断的方向——socket 缓冲区泄漏、vmalloc 内存异常、memcg 基础误判等内核层问题,接入 Skill 后单个场景的准确率提升尤为显著。这也符合一个直觉结论:越是依赖专家经验的内核层问题,Skill 提供的价值越大。
换句话说,同一套专家能力,我们让它以两种形态存在:向人,它是开箱即用的巡检产品;向 Agent,它是一份能直接调用的能力。不管您正在搭建自己的运维 AI,还是只想用一个现成的巡检服务,都不需要重头累积那些已经被验证过的 Linux 排查经验。
SysOM 巡检 Skill 已开源,欢迎体验
SysOM 巡检 Skill 现已在阿里云 Agent Skills 平台上开源,里面包含完整的排查路径、诊断提示词和相关脚本,可以直接被 Qoder、Claude Code 等常见 Agent 环境加载使用。搭配之前开源的 SysOM 诊断 Skill 一起用,就能跑通“巡检发现问题 → 诊断定位根因 → 给出处置建议”的完整链路,后续两者将一同纳入即将发布的 SysOM 技能包。
SysOM 巡检 Skill 链接:
https://skills.aliyun.com/skills/alibabacloud-alinux-sysom-inspection
安装一行命令就够(以 Qoder 为例):
npx skills add aliyun/alibabacloud-aiops-skills --skill alibabacloud-alinux-sysom-inspection --agent qoder -y --full-depth
安装完以后,在 Agent 对话里直接发送自己的需求就行,比如“帮我巡检一下 cn-shenzhen 区域的 i-xxx 实例”,Agent 会自动调用 Skill 里的巡检能力,命中高风险项后自动接上 SysOM 的深度诊断,最后输出一份含异常项、关键发现和根因的报告。不同 Agent 宿主的安装方式可以在上面的 Skills 页面找到。
活动推荐:阿里云 AUG—现场看看 Agent 如何跑?
如何让 Agent 替人完成登录机器、敲命令、拼上下文的重复劳动?这正是本文“Agent + 内核专家经验”模式的核心,也是我们在探索的 Agentic Ops 具象体现。7 月 24 日,阿里云 AUG · 成都站将围绕该主题,拆解这一模式在企业级运维中的真实落地路径。更值得期待的是,现场将首次演示接入 SysOM 诊断能力的 ECS 主机智能巡检全链路,完整呈现 Agent 如何在无人值守下,一步步完成从异常信号捕获、根因定位到处置建议的闭环。欢迎扫描下方海报二维码,报名参加。
联系我们
您在使用操作系统控制台的过程中,有任何疑问和建议,可以搜索群号:94405014449 加入钉钉群反馈,欢迎大家扫码加入交流。