云原生AI套件：一键训练大模型及部署GPU共享推理服务
1. 计费说明
必看！！必看！！必看！！本实验为付费体验，需要消耗账号费用。体验后若不再需要使用，请及时释放资源，避免持续产生费用。
计费说明
整体预估费用：12.625 元/小时 页面。
详细活动说明的超划算活动！关于GPU云服务器新客活动的信息请见1.9折 1台 100小时，您可享受本实验所使用的A10卡云服务器新客户若您是GPU云服务器2. 通过ROS资源编排创建基础环境
打开一键配置模板链接前往ROS控制台，系统自动打开使用新资源创建资源栈的面板。在页面设置配置项，单击创建。
配置项 | 配置项 | 示例 |
资源栈名称 | 支持自定义。 | stack_2023-06-12_cBesTX8FB |
集群名称 | 支持自定义。说明 不能与现有ACK集群重名。 | ai-test |
可用区 | 选中可用区。如果当前可用区下为空，请切换地域重新选择。 | 可用区K |
设置节点登录密码 | 设置节点登录密码。 | 请自行设置。 |
您可在创建前查看费用情况，如下图。
打开自动刷新，将每隔5秒自动刷新一次，方便您观察资源创建情况。
在资源栈信息页签中，显示状态为创建成功，表示快速创建成功。
若在资源栈信息页签中，显示状态不为创建成功，表示快速创建不成功。可以根据界面提示单击创建一键诊断，查看详细信息。说明：
3. 安装云原生AI套件
登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群ai-test，然后在左侧导航栏，选择应用>云原生AI套件。
在云原生AI套件页面，单击一键部署。
在部署页面，参考下图所示完成设置。然后单击部署云原生AI套件。
4. 配置NAS共享存储并下载数据
一、查找NAS实例的挂载点
登录文件存储NAS控制台，在左侧导航栏，选择文件系统 > 文件系统列表，在页面顶部选择NAS实例所在地域华东1（杭州）。
在文件系统列表页面，找到系统自动ROS自动创建的NAS实例，即在文件系统ID列包含ack-ai-nas的NAS文件系统。
单击目标文件系统ID进入文件详情页面，单击挂载使用，悬浮鼠标至
，查看NAS实例的挂载地址，并记录此处的挂载地址和挂载命令以备后续使用。
二、 配置目标ai-test集群的存储卷PV和存储声明PVC
登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群ai-test，然后在左侧导航栏，选择存储 > 存储卷。
在存储卷页面右上方，单击创建。
在创建存储卷对话框中，参考如下图示进行参数配置，选择挂载点域名为您上一步查询的挂载点地址，然后单击创建，创建名为training-data的存储卷。
然后在左侧导航栏，选择存储 > 存储声明。
在存储声明页面右上方，单击创建。
在创建存储声明对话框中，参考如下图示进行参数配置，然后单击创建，创建名为training-data的存储声明。
三、 下载数据到NAS中
在左侧导航栏，选择节点管理 > 节点。
在节点页面，单击节点名称进入节点的实例详情页面。记录此处节点的弹性公网IP为121.41.XX.XX。
在控制台顶部单击云命令行入口，通过以下命令登录GPU节点。登录密码为创建集群时，设置的节点登录密码。
复制之前记录的NAS文件挂载命令，输入终端。（下方命令为示意，请替换成您自己的NAS文件挂载命令，如果您忘记了怎么查看，请见上方 1-c 步骤）。
sudo mount -t nfs -o vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 0bbfb4915a-sdm14.cn-hangzhou.nas.aliyuncs.com:/ /mnt
执行以下命令，下载bloom模型和训练数据。
cd /mnt/
wget http://ai-training-data.oss-cn-hangzhou.aliyuncs.com/bloom-560m-sft-data.tar
tar -xvf bloom-560m-sft-data.tar
出现如下提示，说明数据下载完成。
四、 在GPU节点上配置集群证书
登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群ai-test进入集群信息页面，单击连接信息，在内网访问页签下，复制内网访问凭证。
在cloudshell中执行以下命令
mkdir -p ~/.kube
vi ~/.kube/config
将ai-test集群的内网访问的证书内容复制到节点的config文件中。保存并退出（按下键盘ESC键，然后输入:wq，即可完成保存并退出 ）。
五、在GPU节点上安装arena客户端
执行如下命令，在GPU节点上安装arena客户端。
# 下载arena客户端并安装
cd /root && wget https://aliacs-k8s-cn-hongkong.oss-cn-hongkong.aliyuncs.com/arena/arena-installer-0.9.9-ce4a78d-linux-amd64.tar.gz
tar -xzvf arena-installer-0.9.9-ce4a78d-linux-amd64.tar.gz
cd arena-installer
bash install.sh --only-binary
出现如下提示，说明arena客户端安装成功。
5. 提交Bloom模型微调训练任务
执行以下命令，提交一个Bloom模型的微调训练任务。训练任务大概需要运行8分钟。
arena submit pytorchjob \
--name=bloom-sft \
--gpus=1 \
--image=registry.cn-hangzhou.aliyuncs.com/acs/deepspeed:v0.9.0-chat \
--data=training-data:/model \
--tensorboard \
--logdir=/model/logs \
"cd /model/DeepSpeedExamples/applications/DeepSpeed-Chat/training/step1_supervised_finetuning && bash training_scripts/other_language/run_chinese.sh /model/bloom-560m-sft"
执行以下命令，查看当前通过Arena提交的所有作业。
预期输出：
NAME STATUS TRAINER DURATION GPU(Requested) GPU(Allocated) NODE
bloom-sft RUNNING PYTORCHJOB 17m 1 1 192.168.26.152
执行以下命令，获取作业详情。
预期输出：
Name: bloom-sft
Status: RUNNING
Namespace: default
Priority: N/A
Trainer: PYTORCHJOB
Duration: 1m
CreateTime: 2023-07-20 15:06:19
EndTime:
Instances:
NAME STATUS AGE IS_CHIEF GPU(Requested) NODE
---- ------ --- -------- -------------- ----
bloom-sft-master-0 Running 1m true 1 cn-hangzhou.192.168.XX.XX
Tensorboard:
Your tensorboard will be available on:
http://192.168.XX.XX:32560
记录此处GPU节点名称cn-hangzhou.192.168.XX.XX，用于后续部署推理服务。同时，记录此处Tensorboard的Web服务地址
http://192.168.XX.XX:32560，此处端口号为32560，以您的输出显示为准。
将上一步记录的端口号加入GPU实例的入方向安全组，例如32560。
通过浏览器访问Tensorboard。在浏览器中输入http://112.124.XX.XX:32560，此处将IP地址替换为GPU节点公网IP。
等待任务训练完成，大概需要10分钟。训练完成后，微调后的模型存储在NAS中的bloom-560m-sft目录下。
执行以下命令，在GPU节点上查看目录。
# 进入微调后的模型目录, training.log 为训练日志
cd /mnt/bloom-560m-sft/
# 目录内容如下
.
├── config.json
├── merges.txt
├── pytorch_model.bin
├── training.log
└── vocab.json
使用中文数据集对bloom-560m模型进行了监督微调，接下来可以通过GPU显存共享的能力，将多个推理服务部署在同一块GPU卡上以提高GPU的利用率。下文介绍如何使用Arena，将步骤一微调后的模型部署成推理服务。
执行以下命令，开启GPU共享调度能力和显存隔离能力，替换下列节点为您的GPU节点名称。
kubectl label node cn-beijing.192.168.XX.XX ack.node.gpu.schedule=cgpu
执行以下命令，查看集群GPU资源。
预期输出：NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated)
cn-beijing.192.168.x.xxx 101.xx.xx.162 <none> Ready 1 0
---------------------------------------------------------------------------------------------------
Allocated/Total GPUs of nodes which own resource nvidia.com/gpu In Cluster:
0/1 (0.0%)
执行以下命令，提交一个bloom的推理服务，部署2个副本，每个副本使用8G显存。
arena serve custom \
--name=bloom-infernece \
--gpumemory=8 \
--version=alpha \
--replicas=2 \
--restful-port=8080 \
--data=training-data:/model \
--image=registry.cn-hangzhou.aliyuncs.com/acs/djl-serving:v0.23.0 \
"djl-serving -m /model/bloom-inference"
查看提交的任务的详细信息。
4.1 执行以下命令，查看GPU使用情况。预期输出：
4.2 执行以下命令，查看提交任务的详细信息。arena serve get bloom-infernece
预期输出表明，两个推理服务的副本成功运行在同一张GPU卡上，同时记录此处的Address 172.16.xxx.xxx。等待推理服务启动后，在GPU节点上执行以下命令，在本地调用推理服务。您需要将下列IP替换为上一步记录的Address地址。
curl -X POST http://172.16.xxx.xxx:8080/predictions/bloom_inference -H "Content-type: text/plain" -d "四川美食"
"generated_text":"四川美食》介绍四川的特色小吃，包括美食、名菜、小吃、酒馆、小吃一条街等，这些小吃构成了四川的饮食文化。<|endoftext|>"
7. 释放资源
一、释放NAS文件存储系统
登录文件存储NAS控制台，在左侧导航栏选择文件系统 > 文件系统列表，在页面顶部选择NAS实例所在地域华东1（杭州）。
在文件系统列表页面，找到系统自动ROS自动创建的NAS实例，即在文件系统ID列包含ack-ai-nas的NAS文件系统。然后在页面右侧的操作列，单击
图标，然后单击删除。
二、删除资源栈
登录资源编排控制台。
在左侧导航栏单击资源栈。
在资源栈列表页面，找到需要删除的资源栈，单击右侧操作列中的删除。
在删除资源栈对话框，选中释放资源，然后单击确定。
输入手机验证码，然后单击确定。
5. 实验链接：https://developer.aliyun.com/adc/scenario/99e00d4dea0e4fbf952780b30136209d
