我是一位（个人开发者/运维工程师/架构师/产品经理) 从工作以来这些职位都参与过,其中主导过某品牌的全球网站架构及运行保障工作,我平时工作涉及到云资源的运维和管理。
这次受邀参与了 OS Copilot的 产品体验评测,近两年大模型技术落地很多,在运维方面的成果凤毛麟角,对阿里的这款产品抱有很大期望.
我 顺利使用了 OS Copilot的 -t/-f/管道 功能.我的疑惑是这款产品目前是否可以采用指定的大模型服务(该疑问没什么图好截取……)。
我申请了一台ECS实例,实例的选用及生成非常顺畅,也正常的登陆进了系统.
采用命令确认了OS Copilot 并未安装,执行安装命令后成功.
此处提一下建议:评测相关使用的资源是否可以调整相应的模式,允许在评测时直接选取附带相关评测的服务?这样OS Copilot 就可以直接附带上,另一个就是相关的RAM授权体系可以不用费劲的申请了.(RAM申请特别容易让人头秃)
-t 测试
-t功能测试之前 先体验了一下 “co 当前系统健康度”
从返回结果来看是RAM权限授权缺失问题(这就是吐槽评测资源配置过程的原因)
在重新配置好以后 执行健康度检查:
介绍的非常详细,这在给初级程序员与运维工程师使用时 非常有帮助! 当然对于老手来说这个过程不够效率.
使用-t 参数后,效率非常明显:
美中不足的是copilot 回复中带着英文,期望后面可以进行统一语言.
从检查结果来看,基本反馈了服务器的大致情况,对于运维人员来讲,非常实用.
这一场表现完美.
-f 测试
看介绍来说,这是一个复杂流程的支持场景,通过演示Demo来讲 是通过自然语义表达工作需要和流程及案例来引导模型基于思维连和工作流模式进行场景问题解决.由于产品面向中有系统运维人员,在以前的工作中我有一部分是要进行相关的网络分析和测试环节,我就打算采用分析网络域名解析CDN地址节点的场景进行测试.
task 任务如下:
执行情况:
copilot 很从容的分解了任务,然后进行执行,非常的AI及科技感!但是……但是……它告诉我没有工具,巧妇那位无米之炊,只有锅……
不过还是很贴心的给我一个示例.
我做了工具命令的尝试:
果然是没有工具,copilot 没有说谎.
重新修改了task 描述:
告诉它为了达成目标什么都可以做,我来背锅……
执行逻辑及部分成果响应都很Nice,copilot 响应都很好,不过遇到了其他意外.看起来是云服务资源出了问题.重新尝试了几次 :
从执行过程来看,copilot 理解了我为达成目标不择手段的初衷……
进行相应工具的安装,在执行逻辑和问题处理(依赖安装)上都表现的非常优秀,简直是磕到了我的心巴上…… 不过拉垮的是提示了模型链接超时,导致流程没有走完! 这也是开头提到的评测资源建议独立划归资源管理的原因,评测不能尽兴,测不出深度来!
对于运维工程师来说,问题分析环节面临着诸多不确定性的挑战,工具自动安装,脚本编写都是常态,遇到的问题也是多种多样,要求copilot调用模型的服务量也是不确定的,猜测可能是评测资源设置了上限阀值,导致流程中断.
第二次测试:
采用低阶运维工程师的服务搭建场景进行测试:
这是许多开发初期环境搭建的常见案例,没什么营养的体力活.
copilot 响应非常丝滑:
突然感觉人员优化指标能完成了……
-f 测试总结:
任务理解,逻辑分解,执行细节 都可以给出较高评价,被吐槽的就是LLM链接超时太多,云服务质量需要看一看.
管道 测试
你永远不知道用户会怎么打开你的产品:
在使用两个管道的情况下,没有反应,中断执行后报错得知产品用的python(手动狗头)
使用单个管道则可以正常运行:
效果较为理想.但是……这些参数优化都是需要视业务情况来决定的,copilot直接发现了如下命令xxxxx ,个人觉得作为运维产品助手是不合适的:
- 助手需要做的事干活
- 提供有价值的意见
- 不能有无意义的误导
这款产品我觉得是要辅助低阶能力的运维人员,降低工作难度,提升效率与安全稳定性,在这些用户群体中不具备资深经验,对判断copilot意见准确能力不强,非常容易因为不准确的建议采纳产生事故,建议重视这个问题 愿天下没有背锅的运维.
多个管道使用在正常的运维中是常见的情况,许多运维人员的思维逻辑里也会深入印象.建议针对这个场景做些优化: “co” 命令中先进性语义分析,识别是否存在组合命令情况,再进行拆分执行.
最后
我认为 -t/-f/管道 功能非常有用 ，解决了常规工作中的许多的问题，提升了效率 因人而定,对于初阶技能的工程师而言,效率翻倍不夸张。
此外，我还有其他建议:
1.期望可以增加服务日志,允许通过日志分析工作命林及复杂task执行流程,以便用户可以按需调整task描述,形成稳定工作模版.
- 可以提供更换模型选项,允许用户在百炼平台训练微调自身所需命令情况.
- 模型服务信息隔离,信息安全,隐私保护等问题需要明确,copilot处理命令、文件、日志都可能存在涉密、涉私问题,相关内容不够透明.企业及个人用户使用存在信息安全担忧.
以上,感谢这次邀请测试,产品非常惊艳,瑕不掩瑜,期待这个产品越做越好.
