用1C1G ECS搭建《阿里云大模型高级工程师ACP认证》学习环境

简介: 阿里云推出了《[阿里云大模型高级工程师ACP认证》,配套的学习资料较系统性的梳理了提示词、RAG、Agent插件、微调等系列LLM相关知识。推荐大家学习。该学习课程需要搭建学习环境,可以直接在ECS上构建该环境即可,所需的资源很少,1C1G20G系统盘最低配置即可,本文介绍了详细搭建过程。

阿里云推出了《阿里云大模型高级工程师ACP认证》,配套的学习资料较系统性的梳理了提示词、RAG、Agent插件、微调等系列LLM相关知识。推荐大家学习。
该学习课程需要搭建学习环境,系统推荐使用PAI DSW实例来学习。但有人可能之前没开通过该实例,或者自己的账号是子账号,无开通这种实例的权限。实际上,不需要这么复杂,可以直接在ECS上构建该环境即可,所需的资源很少,1C1G20G系统盘最低配置即可,以Ubuntu系统为例:

1、 创建ECS实例,设置用户名及登录密码(使用ecs-user登录)。因后续安装需要下载系列安装包,网络带宽建议设置100MB,否则,可能因网络带宽不足而导致下载缓慢。
image.png

2、 设置安全组配置,配置出方向端口22,并在源IP中加入本机IP。
3、 Ssh到云ECS:ssh ecs-user@公网IP
4、 创建并进入学习目录:workspace
image.png

5、 在ECS更新软件包,并安装venv:
sudo apt-get update
sudo apt install python3.10-venv
6、 配置阿里云安装源(因安装的包较多,不配置阿里云安装源非常容易报网络错误而失败。配置文件在/home/ecs-user/.config/pip/pip.conf):pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple
7、 获取大模型ACP课程的代码,安装所需的包,参考:https://edu.aliyun.com/course/3130200/lesson/343310285?spm=a2cwt.28196072.ACP26.6.11f237f0xycHWF
wget https://developer-labfileapp.oss-cn-hangzhou.aliyuncs.com/ACP/aliyun_llm_acp_install.sh
8、 修改aliyun_llm_acp_install.sh脚本,将脚本中的pip改成pip3(pip update除外)。然后执行该脚本:
/bin/bash aliyun_llm_acp_install.sh
注意:该脚本内会执行大量包的安装(pip3 install -r ./aliyun_acp_learning/requirements.txt),个别包可能因网络等原因会导致下载和安装失败,此时可进入虚拟环境(source llm_learn/bin/activate),根据安装报错,手工安装失败的包。全部安装完毕后,最后再执行一遍全量包的安装命令,确保所有包成功安装。
9、 安装jupyter:pip3 install jupyter
10、 退出 llm_learn 虚拟环境:deactivate
11、 本地便携机上执行如下命令,将云ECS的8888端口映射到本地:ssh -L8888:localhost:8888 ecs-user@ECS的公网IP
12、 在ECS上运行jupyter(如果之前是在虚拟环境中安装的,则需要先激活虚拟环境source llm_learn/bin/activate):nohup jupyter notebook &
image.png

13、 在本地浏览器登录jupyter(填写运行notebook时,展示的正确URL。如果采用nohup方式运行,可以使用tail命令查看输出日志):http://localhost:8888/tree?token=XXX2cda
image.png

14、 如果本地的ssh客户端超时或其他原因退出。下次再登录时,依然只需要将云ECS的8888端口映射到本地,notebook的URL地址不变:ssh -L8888:localhost:8888 ecs-user@ECS的公网IP

最后,祝大家学有所获,顺利通过考试,拿到认证证书。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
1
1
1
31
分享
相关文章
云工开物学习推荐 | 轻松部署满血版DeepSeek,来阿里云搭建专属大模型主页
阿里云推出高效、易用的个人AI大模型部署方案,5分钟快速搭建专属AI主页。支持70+主流模型无缝切换对比,满足多样化需求;提供灵活扩展能力,解锁无限可能;高度定制化设计,打造个性化智能品牌。两种套餐任选:热卖套餐99元/年,尝鲜套餐0.3元/小时。专属大模型主页等你创建!
现身说法,AI小白的大模型学习路径
写这篇文章的初衷:作为一个AI小白,把我自己学习大模型的学习路径还原出来,包括理解的逻辑、看到的比较好的学习材料,通过一篇文章给串起来,对大模型建立起一个相对体系化的认知,才能够在扑面而来的大模型时代,看出点门道。
744 78
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
RWKV-7是RWKV系列的最新大模型架构版本,具有强大的上下文学习能力,超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。
389 7
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
Micro LLAMA:教学版 LLAMA 3模型实现,用于学习大模型的核心原理
Micro LLAMA是一个精简的教学版LLAMA 3模型实现,旨在帮助学习者理解大型语言模型的核心原理。该项目仅约180行代码,便于理解和学习。Micro LLAMA基于LLAMA 3中最小的8B参数模型,适合对深度学习和模型架构感兴趣的研究者和学生。
191 18
Micro LLAMA:教学版 LLAMA 3模型实现,用于学习大模型的核心原理
COLM 2:从正确中学习?大模型的自我纠正新视角
【10月更文挑战第11天】本文介绍了一种名为“从正确中学习”(LeCo)的新型自我纠正推理框架,旨在解决大型语言模型(LLMs)在自然语言处理任务中的局限性。LeCo通过提供更多的正确推理步骤,帮助模型缩小解空间,提高推理效率。该框架无需人类反馈、外部工具或手工提示,通过计算每一步的置信度分数来指导模型。实验结果显示,LeCo在多步骤推理任务上表现出色,显著提升了推理性能。然而,该方法也存在计算成本高、适用范围有限及可解释性差等局限。
109 1
AI大模型学习
本文概述了AI大模型学习的五个主要方向:理论基础、训练与优化、特定领域应用、伦理与社会影响,以及未来发展趋势与挑战。
260 1
大发现!谷歌证明反学习,无法让大模型删除不良信息
【9月更文挑战第19天】最近,Ilia Shumailov等人发表的论文《UnUnlearning:反学习在大语言模型中的内容监管不足》在人工智能领域引发了热议。该论文探讨了反学习在大型语言模型中的应用,指出反学习虽能有效控制训练阶段的数据撤回,但在推理阶段仍可能执行非法行为,引入了“反反学习”的概念。这一发现对内容监管产生重要影响,但也引发了关于反学习有效性的争议。详细内容与讨论可见论文原文:https://arxiv.org/abs/2407.00106
107 1
为什么要学习大模型?
本文深入探讨了大模型的学习意义、应用需求及训练方法,帮助读者理解其底层逻辑与潜力。通过类比PPT和Excel在职场中的重要性,强调掌握大模型技能对未来职业发展的关键作用。文章还分析了LLM微调的必要性及其在企业内外部场景的应用价值,如智能客服、游戏NPC等。此外,专栏专注于ChatGPT与通义千问的训练原理,提供系统化的学习路径,适合从零基础到进阶的不同人群。无论想提升工作效率还是从事相关工程开发,都能从中受益。内容收录于[Github](https://github.com/Java-Edge/Java-Interview-Tutorial),欢迎关注!
328 0
为什么要学习大模型?
|
11月前
|
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
【8月更文挑战第6天】DeePEn是一种免训练异构大模型集成学习框架,旨在通过融合多个不同架构和参数的大模型输出概率分布,提升整体性能。它首先将各模型输出映射至统一概率空间,然后进行聚合,并最终反转回单一模型空间以生成输出。实验证明,在知识问答和推理任务上,DeePEn相比单一大模型如LLaMA和Mistral有显著提升,但其效果受模型质量和数量影响,并且计算成本较高。[论文: https://arxiv.org/abs/2404.12715]
118 1
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问