Alpaca模型在阿里云GPU服务器上的部署

简介: 【6月更文挑战第1天】

创建个人版的对话大模型。Alpaca大模型是一款基于LLaMA的大语言模型,它能够模拟自然语

操作步骤

创建ECS实例

  1. 实例创建:在ECS实例创建页面,创建一个ECS实例。选择实例规格为ecs.gn7i-c16g1.4xlarge,选择公共镜像Ubuntu 20.04,并确保选中了安装GPU驱动选项,选择CUDA版本为11.4.1,Driver版本为470.161.03,CUDNN版本为8.2.4。

  2. 公网IP配置:选中分配公网IPv4地址,带宽计费方式选择按量付费,带宽峰值选择100Mbps。

  3. 安全组配置:在ECS实例安全组的入方向添加安全组规则并放行7860端口。

  4. 驱动和CUDA库安装验证:

    • 使用root用户远程登录ECS实例。
    • 检查驱动以及CUDA库是否安装成功,执行命令查看GPU驱动和CUDA库的版本。

配置软件

  1. 安装Git和Git LFS:

    apt install -y git git-lfs python-is-python3
    
  2. 安装Python包:

    pip install git+https://github.com/huggingface/transformers
    pip install sentencepiece==0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple
    pip install peft==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
    
  3. 验证GPU工作:

    • 进入PyTorch环境。
    • 执行torch.cuda.is_available()验证GPU是否正常工作。

下载与配置模型

  1. 下载tmux并创建session:建议在tmux session中下载模型,以免因ECS断开连接导致下载中断。

  2. 下载模型:

    • 下载Chinese-LLaMA-Alpaca模型。
    • 下载chinese-alpaca-lora-13b模型。
    • 下载预训练的llama-13b-hf模型。
  3. 合并代码:

    cd Chinese-LLaMA-Alpaca/
    python scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ \
         --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface \
         --output_dir ./llama_with_lora_hf
    
  4. 查看转换完成的文件:

    ls -lh llama_with_lora_hf
    

部署WebUI

  1. 下载WebUI并部署代码:

    cd
    git clone https://github.com/oobabooga/text-generation-webui.git
    
  2. 安装依赖库:

    cd text-generation-webui/
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    
  3. 生成软链接:

    ln -s /root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf
    

验证结果

  1. 运行WebUI:
    ```bash
    cd text-generation-webui/
    python server.py --model llama_with_lora_hf --listen --chat --load-in-8bit
相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
弹性计算 搜索推荐 异构计算
阿里云服务器多少钱一年?亲自整理ECS、轻量和GPU服务器租赁价格表
2025年阿里云服务器优惠汇总:轻量应用服务器2核2G 38元/年起,ECS 2核2G 99元/年,2核4G 199元/年,4核16G 89元/月,8核32G 160元/月,香港轻量25元/月起,新老用户同享,续费同价。
2581 158
|
弹性计算 运维 安全
阿里云轻量应用服务器与云服务器ECS啥区别?新手帮助教程
阿里云轻量应用服务器适合个人开发者搭建博客、测试环境等低流量场景,操作简单、成本低;ECS适用于企业级高负载业务,功能强大、灵活可扩展。二者在性能、网络、镜像及运维管理上差异显著,用户应根据实际需求选择。
1105 10
|
运维 安全 Ubuntu
阿里云渠道商:服务器操作系统怎么选?
阿里云提供丰富操作系统镜像,涵盖Windows与主流Linux发行版。选型需综合技术兼容性、运维成本、安全稳定等因素。推荐Alibaba Cloud Linux、Ubuntu等用于Web与容器场景,Windows Server支撑.NET应用。建议优先选用LTS版本并进行测试验证,通过标准化镜像管理提升部署效率与一致性。
|
存储 监控 安全
阿里云渠道商:云服务器价格有什么变动?
阿里云带宽与存储费用呈基础资源降价、增值服务差异化趋势。企业应结合业务特点,通过阶梯计价、智能分层、弹性带宽等策略优化成本,借助云监控与预算预警机制,实现高效、可控的云资源管理。
|
弹性计算 运维 安全
区别及选择指南:阿里云轻量应用服务器与ECS云服务器有什么区别?
阿里云轻量应用服务器适合个人开发者、学生搭建博客、测试环境,易用且性价比高;ECS功能更强大,适合企业级应用如大数据、高流量网站。根据需求选择:轻量入门首选,ECS专业之选。
930 2
|
存储 机器学习/深度学习 人工智能
硅谷GPU单节点服务器:技术解析与应用全景
“硅谷GPU单节点服务器”代表了在单个物理机箱内集成强大计算能力,特别是GPU加速能力的高性能计算解决方案。它们并非指代某个特定品牌,而是一类为处理密集型工作负载而设计的服务器范式的统称。
|
机器学习/深度学习 人工智能 弹性计算
2025年阿里云GPU服务器租用价格与应用场景详解
阿里云GPU服务器基于ECS架构,集成NVIDIA A10/V100等顶级GPU与自研神龙架构,提供高达1000 TFLOPS混合精度算力。2025年推出万卡级异构算力平台及Aegaeon池化技术,支持AI训练、推理、科学计算与图形渲染,实现性能与成本最优平衡。
|
弹性计算 运维 安全
阿里云轻量应用服务器38元1年和云服务器99元1年怎么选?二者性能区别及选择参考
在阿里云当下的活动中,38元/年的轻量应用服务器与99元/年的云服务器ECS成为众多新用户的关注焦点。但是有部分用户并不是很清楚二者之间的区别,因此就不知道应该如何选择。接下来,笔者将为您详细剖析ECS云服务器与轻量应用服务器的差异,以供您参考和选择。
1151 4
阿里云轻量应用服务器38元1年和云服务器99元1年怎么选?二者性能区别及选择参考

热门文章

最新文章

相关产品

  • 云服务器 ECS
  • GPU云服务器