OS Copilot测评
1. 设置
在按照手册完成云服务器和安全组的设置后,连接云服务器。
2. 安装OS Copilot
在终端界面输入
sudo yum install -y os-copilot
在配置完环境变量后,即可进入copilot
co hi
3. 样例体验——网络流量监控脚本
co “请帮我写一个网络流量监控脚本,用python语言实现”
复制上述python代码后,在终端输入
vim test.py
将复制好的代码粘贴到vim编辑器中,输入“:wq”退出vim编辑器,在终端输入
cat test.py | co “请解释下每行代码的意思”
4. 样例体验——使用Copilot进行对话
在终端输入
co
即可进入Copilot的对话模式,给人的感觉就像是国内普遍的GPT,但是这个结合到了Linux系统内。
我提问:当前是什么系统?
Copilot给出了当前使用的系统信息,此外还给出了如果具体查阅具体系统信息的命令和仅查阅发行版名和内核版本的命令。
我提问:怎么升级系统?
Copilot给出了在当前系统中升级软件包和内核的方法与命令,并给出了提醒,即备份重要数据。
如需退出当前功能,输入exit
5. 样例体验——编程辅助newcodegen找到最长的回文子串
在chat对话框中输入newcodegen,进入编程辅助模式,输入题目
Copilot首先分析了构建该解决方案的步骤,依序共计六步,然后使用python代码来实现上述算法。
通过上述生成的python代码,可以看到Copilot成功进行了算法的代码实现和样例生成。这说明Copilot不仅完成了对编程题目的理解,还能够完成代码实现,并根据题目给出测试样例。
6. 自行探索——系统运行资源
在终端输入
co
进入Copilot
输入:告诉我当前系统运行资源情况
系统报错:Error:LLM connection timeout
在终端输入
co “帮我查一下系统状态”
Copilot正常输出,并给出使用的工具,这反映了copilot在运行时的不稳定性,理论上在chat可以直接输出运行情况,此时我只能从终端输入co “我想查询的内容”完成提问,不过依旧给出了需要安装的包和指令
7. 自行探索——编程辅助newcodegen
为了避免代码生成仅对寻找最长回文子串和python语言进行了优化,我又对其他题目和其他语言进行了测试。
这里我换了一个新的编程题目——迷宫,通过程序找出从左上角到右下角的路线。
系统稳定先给出了理解题目后的伪代码,然后给出了对应的python代码和测试样例。
然后依旧是迷宫这个题目,我强调使用C++语言实现。
这里系统没有在最开始给出理解题目后的伪代码,整体而言正常保存了C++代码和测试样例。
之后我又将该段C++代码保存至test.cpp,让copilot解释下每行代码的意思
可以看到系统能逐行解释每行代码的意思,但是对于函数中代码的逐行解释做的还是不那么到位,讲解的没那么细。
8. 自行探索——GPT交流
笔者最近在写SCI关于语义分割的论文,于是进行了相关内容的对话
可以看到系统像大纲一样给出了写一篇论文的guideline,并在中间给出了一些样例代码。
我又围绕电脑硬件相关的问题进行了提问
以及Linux系统相关进行了提问
最后针对当前深度神经网络的transformer运算复杂度进行了提问
可以看到系统目前只能提供现有技术,不能给出彻底的创新,只能给出现有的创新策略的思路。
9. OS Copilot 产品体验评测
1)您的角色是什么?开发、运维、学生?如果使用OS Copilot,您的使用场景是什么?
我的角色是学生,如果使用OS Copilot,我的使用场景是辅助解决深度神经网络的编程难题,这样可以快速将idea转换成代码进行训练,从而节约时间;此外,深度学习服务器大多基于Linux系统,对于一些不熟悉的操作可以随时提问。
2)你觉得 OS Copilot 在新人上手方面是否简单、指引文档是否清晰、是否存在什么阻碍?
OS Copilot在新人上手方面较为简单,指引文档清晰。
3)OS Copilot 是否对您的工作有帮助?如果有帮助的话,帮助程度1-10分,能够打几分?
OS Copilot对我的工作有帮助,我愿意给到9分。Copilot能够在使用Linux系统时遇到的问题实时进行提问,回答要比我从搜索引擎得到答案的效率更高,更贴合我遇到的情况,因此更能得到贴切的解决方案。
4)您愿意向周边朋友/工作伙伴推荐OS Copilot吗?如果OS Copilot开源,是否有意愿共同参与开发?包括参与OS领域大模型的训练等。
愿意向周边朋友推荐OS Copilot,如果OS Copilot开源,愿意共同参与开发和OS领域大模型的训练等工作。
10. OS Copilot 产品功能反馈
1)您体验了哪些功能?对OS Copilot的哪些功能最感兴趣(知识问答、辅助编程、辅助命令执行等),为什么?
我对上述三个问题都进行了体验,主要是对辅助编程和辅助命令执行感兴趣,因为其能根据题目快速实现对应语言的代码,帮助实现思维落地,同时还能逐行解释代码,节省了个人创建代码和阅读的时间。
2)您有体验过其他类型的产品吗?对比其他产品OS Copilot有什么优缺点?
只体验过通义灵码等代码生成类的产品,对比而言,个人感觉OS Copilot的效率更高,不仅能够集成到Linux系统中,还能直接根据题目生成代码。
3)您希望OS Copilot能够扩展其他哪些功能呢?比如,支持更多的操作系统、自动命令报错原因分析、系统错误排查,或其他任何您想到的功能。
我希望OS Copilot能够扩展支持更多的操作系统,在windows上也能实现继承,以及Copilot系统如果出现报错也能进行对应的错因分析和排查,如果有错误的输入(如在终端输入 co 告诉我现在的时间 错因是没加引号),即使系统报错,也能告诉我不能这样输入,要加入引号。
4)OS Copilot与其他产品联动组合的体验以及可能,如ACK智能助手、ECS、Workbench等,您也可以展开列举组合的实际应用场景。
这个问题我不太理解,我个人认为OS Copilot与wireshark数据包分析工具进行联动,大模型可以没有太大的负担读取海量的数据包,完成流量分析、异常数据包分析等工作,或者结合VS完成代码解释等内容。