Alpaca模型在阿里云GPU服务器上的部署

创建个人版的对话大模型。Alpaca大模型是一款基于LLaMA的大语言模型，它能够模拟自然语

操作步骤

创建ECS实例

1. 实例创建：在ECS实例创建页面，创建一个ECS实例。选择实例规格为ecs.gn7i-c16g1.4xlarge，选择公共镜像Ubuntu 20.04，并确保选中了安装GPU驱动选项，选择CUDA版本为11.4.1，Driver版本为470.161.03，CUDNN版本为8.2.4。

2. 公网IP配置：选中分配公网IPv4地址，带宽计费方式选择按量付费，带宽峰值选择100Mbps。

3. 安全组配置：在ECS实例安全组的入方向添加安全组规则并放行7860端口。

4. 驱动和CUDA库安装验证：

   • 使用root用户远程登录ECS实例。
   • 检查驱动以及CUDA库是否安装成功，执行命令查看GPU驱动和CUDA库的版本。

配置软件

1. 安装Git和Git LFS：

   apt install -y git git-lfs python-is-python3
   

2. 安装Python包：

   pip install git+https://github.com/huggingface/transformers
   pip install sentencepiece==0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install peft==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证GPU工作：

   • 进入PyTorch环境。
   • 执行torch.cuda.is_available()验证GPU是否正常工作。

下载与配置模型

1. 下载tmux并创建session：建议在tmux session中下载模型，以免因ECS断开连接导致下载中断。

2. 下载模型：

   • 下载Chinese-LLaMA-Alpaca模型。
   • 下载chinese-alpaca-lora-13b模型。
   • 下载预训练的llama-13b-hf模型。

3. 合并代码：

   cd Chinese-LLaMA-Alpaca/
   python scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ \
        --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface \
        --output_dir ./llama_with_lora_hf
   

4. 查看转换完成的文件：

   ls -lh llama_with_lora_hf
   

部署WebUI

1. 下载WebUI并部署代码：

   cd
   git clone https://github.com/oobabooga/text-generation-webui.git
   

2. 安装依赖库：

   cd text-generation-webui/
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 生成软链接：

   ln -s /root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf
   

验证结果

1. 运行WebUI：
   ```bash
   cd text-generation-webui/
   python server.py --model llama_with_lora_hf --listen --chat --load-in-8bit