Alpaca模型在阿里云GPU服务器上的部署

本文涉及的产品
云服务器 ECS,u1 4核8GB 1个月
云服务器 ECS,u1 4核16GB 1个月
云服务器 ECS,u1 2核4GB 3个月
简介: 【6月更文挑战第1天】

创建个人版的对话大模型。Alpaca大模型是一款基于LLaMA的大语言模型,它能够模拟自然语

操作步骤

创建ECS实例

  1. 实例创建:在ECS实例创建页面,创建一个ECS实例。选择实例规格为ecs.gn7i-c16g1.4xlarge,选择公共镜像Ubuntu 20.04,并确保选中了安装GPU驱动选项,选择CUDA版本为11.4.1,Driver版本为470.161.03,CUDNN版本为8.2.4

  2. 公网IP配置:选中分配公网IPv4地址,带宽计费方式选择按量付费,带宽峰值选择100Mbps。

  3. 安全组配置:在ECS实例安全组的入方向添加安全组规则并放行7860端口。

  4. 驱动和CUDA库安装验证

    • 使用root用户远程登录ECS实例。
    • 检查驱动以及CUDA库是否安装成功,执行命令查看GPU驱动和CUDA库的版本。

配置软件

  1. 安装Git和Git LFS

    apt install -y git git-lfs python-is-python3
    
  2. 安装Python包

    pip install git+https://github.com/huggingface/transformers
    pip install sentencepiece==0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple
    pip install peft==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    
  3. 验证GPU工作

    • 进入PyTorch环境。
    • 执行torch.cuda.is_available()验证GPU是否正常工作。

下载与配置模型

  1. 下载tmux并创建session:建议在tmux session中下载模型,以免因ECS断开连接导致下载中断。

  2. 下载模型

    • 下载Chinese-LLaMA-Alpaca模型。
    • 下载chinese-alpaca-lora-13b模型。
    • 下载预训练的llama-13b-hf模型。
  3. 合并代码

    cd Chinese-LLaMA-Alpaca/
    python scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ \
         --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface \
         --output_dir ./llama_with_lora_hf
    
  4. 查看转换完成的文件

    ls -lh llama_with_lora_hf
    

部署WebUI

  1. 下载WebUI并部署代码

    cd
    git clone https://github.com/oobabooga/text-generation-webui.git
    
  2. 安装依赖库

    cd text-generation-webui/
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    
  3. 生成软链接

    ln -s /root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf
    

验证结果

  1. 运行WebUI
    ```bash
    cd text-generation-webui/
    python server.py --model llama_with_lora_hf --listen --chat --load-in-8bit
相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
2天前
|
存储 弹性计算 应用服务中间件
阿里云经济型e与通用算力型u1实例长效特价云服务器解析,性能与性价比的完美平衡
阿里云目前有两款深受个人和普通企业用户喜欢的特价云服务器,ECS 经济型e实例2核2G,3M固定带宽,40G ESSD Entry云盘,仅需99元1年。ECS u1实例2核4G,5M固定带宽,80G ESSD Entry盘,仅需199元1年。新老同享,活动期间新购、续费同价。很多用户关心这两款云服务器性能怎么样?本文将对阿里云2024年推出的特价云服务器进行深度解析,从性能、价格、适用场景等多个维度进行详细探讨,以供选择参考。
阿里云经济型e与通用算力型u1实例长效特价云服务器解析,性能与性价比的完美平衡
|
2天前
|
存储 弹性计算 大数据
阿里云服务器怎么样?云服务器ECS功能、租用费用全解析
阿里云ECS是弹性计算服务,提供安全可靠的云服务器,包括多种实例规格如经济型、通用型、计算型等,适合不同场景。ECS支持VPC专有网络、快照与镜像、多种付费模式。用户可按需选择计算架构、存储类型,享受灵活的网络控制、自动化数据备份和低成本计算资源。适用于Web应用、在线游戏、大数据分析和深度学习等场景。阿里云提供免费试用和优惠价格,服务众多知名企业,如新浪微博。
|
2天前
|
存储 弹性计算 大数据
阿里云服务器怎么样?全访问解析云服务器ECS功能、租用、优缺点及使用说明
阿里云ECS是弹性计算服务,提供安全可靠的云服务器,包括多种实例规格如经济型、通用型、计算型等,适合不同场景。ECS支持VPC专有网络、快照与镜像、多种付费模式。用户可根据业务需求选择实例、存储类型和网络配置。阿里云服务器适用于Web应用、游戏、大数据和深度学习等场景,提供免费试用和不同优惠套餐。众多知名企业如新浪微博等信赖阿里云服务。更多信息可访问阿里云官方网站。
|
2天前
|
弹性计算
阿里云ECS使用体验
在申请高校学生免费体验阿里云ECS云服务器后的一些使用体验和感受。
|
2天前
|
监控 NoSQL Ubuntu
|
2天前
|
弹性计算
阿里云ECS的使用心得
本文主要讲述了我是如何了解到ECS,使用ECS的一些经验,以及自己的感悟心得
|
1天前
|
弹性计算 小程序
阿里云4核16G服务器租用费用,有哪些4核16G配置可选?
阿里云提供多种4核16G服务器实例,如经济型e、高主频型、通用型等。ECS经济型e实例ecs.e-c1m4.xlarge价格为70元/月,具备4核16G内存,基础网络带宽0.8Gbps。完整性能参数和更多实例规格详情可在阿里云官网查询。
|
2天前
|
域名解析 网络协议 安全
服务器部署后 访问出错的原因和解决办法
部署到服务器后无法访问可能是由于配置错误、权限问题或网络设置不当。解决办法包括检查服务器配置文件、确保文件路径正确、调整权限设置以及检查防火墙和端口设置。
13 0
|
1天前
|
敏捷开发 存储 持续交付
阿里云云效产品使用合集之流水线在服务器重启后无法发布代码,一般是什么导致的
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
数据采集 SQL 弹性计算
使用云服务器ECS部署了自己的第一个爬虫
云服务器部署爬虫爬取网站最新通告并推送
使用云服务器ECS部署了自己的第一个爬虫

相关产品

  • 云服务器 ECS
  • GPU云服务器