AI 场景下如何构建运维的标准化能力?SOMA 智能运维计划发布 | 2024 龙蜥大会

简介: 欢迎加入龙蜥社区系统运维联盟(SOMA) 智能运维计划。

8 月 30 日,2024 龙蜥操作系统大会(OpenAnolis Conference)在北京盛大召开。 与此同时,由龙蜥社区运营委员会副主席、龙腾计划生态负责人金美琴,阿里云智能集团高级技术专家毛文安,云杉网络 VP 向阳联合出品的系统运维联盟闭门会也圆满举办。本次闭门会上,来自云杉网络、阿里云、信通院、浪潮信息、凝思软件、中科院、基流科技、必示科技以及北京邮电大学等企业和高校的 14 位大咖,聚焦 AI 场景下如何构建与提升运维的标准化能力,共同探讨当前智算运维在落地过程中的难题及合作路径。会上也隆重举行了 SOMA 智能运维计划发起仪式,龙蜥社区理事长马涛也参与了该计划的讨论和发起。

(图/SOMA智能运维计划发起合照)


会议伊始,龙蜥社区技术委员会主席杨勇开场致辞。杨勇指出,未来,中国有两大机遇,一个机遇是 CentOS 的国产替代,让国内的一些操作系统生态能够被更多的人认可。另外一个机遇就是 AI 的基础设施建设。从千卡集群到万卡集群,规模越来越大,将来的推理也会有更多的应用,而且它是基于天然的云原生的分布式系统去部署这些应用,这就需要有强大的智能运维能力。同时也希望更多企业和个人加入到系统运维联盟的智能运维计划,抓住这个千载难逢的 AI 机遇。

(图/杨勇)


闭门会上,云杉网络 VP 向阳分享了主题为《AI 基础设施需要什么样的可观测性》的演讲。向阳分析了 AI 训练和推理面临的基础设施稳定性和可靠性需求,总结了传统可观测性工具的痛点和缺陷,分享了 DeepFlow 使用 eBPF 技术在 AI 基础设施可观测性方面进行的探索和实践,介绍了使用 eBPF 能够实现的全栈智算可观测性效果,并分享了 DeepFlow 在国内头部券商企业通义千问智算集群中的落地实践。

(图/向阳)


阿里云智能集团技术专家、龙蜥社区系统运维 SIG Maintainer 陈诗雁做了《基于 LLM Agent 的 SysOM 智能诊断机器人》主题分享。陈诗雁介绍了系统运维的现状和难点、智能对话机器人的发展、大模型在系统运维的应用、基于大模型智能体的诊断机器人设计,并演示了 SysOM 智能诊断机器人。智能机器人和运维平台是相辅相成的关系,运维平台的诊断能力成就了智能机器人解决实际问题的能力,智能机器人帮助运维平台更好地发挥和展示运维能力。

(图/陈诗雁)


本次闭门会上,现场嘉宾针对“大模型+运维:标准化方向探索”、“运维 for AI:如何让 LLM 基础设施更高效”、“AI for 运维:如何让运维更智能”等当下热门话题展开讨论。现场交流异常热烈,嘉宾们纷纷给出了他们的建议和看法。龙蜥社区标准化 SIG 董翰文主持讨论“大模型+运维:标准化方向探索”,邀请嘉宾分享自己眼中的智能运维,其发展方向和标准化工作发表看法。中国信通院云计算与大数据研究所高级业务主管王海清认为框架类标准能有效提升用户对智能运维的认知,引领和促进整个行业的发展。中国科学院计算机网络信息中心副研究员裴昶华认为协同是标准的重要作用,数据格式、交互接口、标准化模块等都是现在智能运维需要的标准方向。龙蜥社区系统运维 SIG 负责人毛文安表示标准化的工作极为重要,智能运维涉及到指标采集和分析加工等方方面面。当前,业界也相当迫切地需要一套标准化的评测和打分流程。浪潮信息首席工程师、人工智能算法研究员李峰指出智能运维底层就是“三自”的智能系统,即自组织、自适应、自学习。数据语义标准是智能运维标准需要的方向。凝思软件解决方案总监田辉表示,数据集和评测标准是目前智能运维所需的标准,但是不同领域中运维的关注重点不同,这加大了智能运维标准制定的难度。


云杉网络 VP 向阳主持“运维 for AI:如何让 LLM 基础设施更高效”话题。嘉宾们就自己在 LLM 基础设施性能优化和稳定性保障方面的工作进行了介绍,从基础设施供应商、科研院校、操作系统内核开源社区不同的视角分享了 LLM 基础设施的高性能和稳定性需求。基流科技研发 VP 陈维介绍了基流科技在搭建网卡集群过程中积累下来的行之有效的性能和稳定性保障机制,并对未来 AIOps 赋能从而进一步降低运维成本表达了非常积极的预期。北京邮电大学博士研究生刘克非表示智算网络对整个 LLM 基础设施的稳定性和性能所发挥着至关重要的作用。龙蜥社区跟踪诊断技术 SIG Maintainer 陆扬介绍了龙蜥在 eBPF GPU Profiling、PyTorch Profiling 等方面的探索,并分享了龙蜥社区未来一年的亮眼 Milestone。


“AI for 运维:如何让运维更智能话题”必示科技产品总监温希道主持,就 AIOPS 这么多年的 good case 和 bad case、未来可能出现的 good case 和怎么去走向更大量的 good case 和嘉宾做了深入的探讨。龙蜥社区系统运维联盟主席冯富秋结合历史对大模型现状进行了分析, 表示当年深度神经网络得益于对垂直领域的研究(图像卷积、音频梅尔倒频谱等)效果得到显著的改进, 大模型基础模型也需要结合垂直领域特征进行增强。阿里云智能集团技术专家陈诗雁分享了大模型的知识检索和知识沉淀对于智能运维工作的帮助,通过大模型进一步提升运维效率。但他也提到,大模型当前存在信任问题,或许建立权威的评测手段可以帮助我们实现这一点。浪潮信息运维专家张鹏将目光更多地放在服务器的单机可用性和集群可用性上,他结合自身经验分享了大模型的回答出现错误的问题,并表示,无论是大模型还是小模型,解决监控失误、诊断失准、预测时效和可解释性的问题都迫在眉睫。


(图/圆桌讨论环节嘉宾发言)


值得一提的是,会上,龙蜥社区联合系统运维联盟生态合作伙伴,共同发起了“SOMA 智能运维计划”,该计划分成四个部分:第一智能运维标准和评测系统的建立;第二搭建一个运维知识库,第三搭建联盟的智能运维机器人,第四解决在 AI 场景和架构下性能问题。龙蜥社区系统运维联盟诚挚地邀请广大企业、专家以及高校老师一起畅想、落实该计划。

感谢本次闭门会出品团队:金美琴、向阳、毛文安、刘寅、董翰文、卫硕、贺迪、李会佳。

视频回放、课件获取:

「系统运维联盟闭门会」直播回放及技术 PPT上线啦,欢迎点击下方链接观看~

回放链接:https://openanolis.cn/video/#983718373609714341

技术 PPT :关注龙蜥公众号【OpenAnolis 龙蜥】,回复“龙蜥课件”获取。

—— 完 ——


相关文章
|
6天前
|
人工智能 Linux iOS开发
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
219 100
|
2天前
|
人工智能 JavaScript 测试技术
通义灵码 2.0 体验报告:AI 赋能智能研发的新范式
通义灵码 2.0 是阿里云基于通义大模型推出的先进开发工具,具备代码智能生成、研发问答、多文件修改和自主执行等核心功能。本文通过亲身体验,展示了其在新功能开发、跨语言编程和单元测试生成等方面的实际效果,并对比了 1.0 版本的改进。结果显示,2.0 版在代码生成完整度、跨语言支持和单元测试自动化上有显著提升,极大提高了开发效率,但仍需进一步优化安全性和个性化风格。推荐指数:⭐⭐⭐⭐⭐。
|
2天前
|
人工智能 JavaScript 测试技术
通义灵码 2.0 体验报告:AI 赋能智能研发的新范式
**通义灵码 2.0 体验报告:AI 赋能智能研发的新范式** 本文详细评测了阿里云推出的通义灵码 2.0,基于通义大模型,提供代码智能生成、研发问答、多文件修改等核心能力。通过亲身体验,探讨其在新功能开发、跨语言编程、单元测试生成等场景的实际效果,并对比1.0版本的改进点。结果显示,2.0版本在代码生成完整性、自动化程度及跨语言支持方面有显著提升,但也存在安全性优化和个性化风格调整的空间。推荐指数:⭐⭐⭐⭐⭐。 (239字)
|
4天前
|
人工智能 JSON 自然语言处理
AI 程序员的4个分身 | 代码生成专家+注释精灵+API集成助手+智能调试伙伴
AI 程序员的4个分身 | 代码生成专家+注释精灵+API集成助手+智能调试伙伴
104 35
|
6天前
|
人工智能 开发框架 数据可视化
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
119 27
|
6天前
|
机器学习/深度学习 人工智能 监控
AI视频监控在大型商场的智能技术方案
该方案通过目标检测与姿态识别技术(如YOLO、OpenPose),实时监控顾客行为,识别异常动作如夹带物品、藏匿商品等,并结合AI模型分析行为模式,防止偷窃。出口处设置结算验证系统,比对结算记录与视频信息,确保商品全部支付。多角度摄像头和数据交叉验证减少误报,注重隐私保护,提升安保效率,降低损失率,增强顾客信任。
44 15
|
人工智能 安全 物联网
7月27日云栖精选夜读:AI时代,运维和测试岗位如何开启"第二春"?
面临一个个利好消息:devops、开发自运维、持续集成、开发自测试、自动化测试,机器人吃人的时代不远了。作为运维,作为测试,在成为瓶颈甚至障碍绊脚石之前,如何开启职业的“第二春”?
3747 0
|
28天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
189 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
14天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
89 24
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
|
9天前
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
755 14
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用