使用ASK容器化部署大语言模型FastChat-阿里云开发者社区

使用ASK容器化部署大语言模型FastChat

2023-09-16 289

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

容器镜像服务 ACR，镜像仓库100个不限时长

容器服务 Serverless 版 ACK Serverless，952元额度多规格

容器服务 Serverless 版 ACK Serverless，317元额度多规格

简介： 本实验指导您在容器服务Serverless版（以下简称 ASK）中，容器化部署大语言模型FastChat。

使用ASK容器化部署大语言模型FastChat

1. 计费说明

必看！！必看！！必看！！

本实验为付费体验，需要消耗账号费用。体验后若不再需要使用，请及时释放资源，避免持续产生费用。

计费说明

完成本实验，将要耗费 ACK Serverless Pro 集群的相关云资源费用说明如下。更多信息，请参见 ACK Serverless集群计费说明。

产品名	计费类型	费用	计费链接
容器服务ACK Serverless Pro集群	限时免费	目前公测中，限时免费	ACK Serverless集群计费说明
弹性容器实例	按量付费	11.74元/小时~15.46元/小时	ECI实例计费
NAT网关	按量付费	0.78元/小时	NAT计费概述
负载均衡CLB	按量付费	0.32元/小时	CLB按量付费

2. 创建 ACK Serverless Pro 版集群

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击页面右上角的创建集群。

在创建集群页面的集群配置中，单击ACK Serverless 集群，根据如下参数说明完成相关配置，其他配置项保持默认值，然后单击下一步：组件配置。

配置项	说明	示例值
集群名称	填写集群的名称。	fastchat-demo
集群规格	选择集群规格，支持 Pro 版和标准版	Pro 版
地域	选择集群所在的地域。建议选择华北2（北京）地域。	华北2（北京）
API Server 访问	ACK Serverless 默认为 API Server 创建一个内网 SLB 实例，您可修改 SLB实例规格。更多信息，请参见实例规格。您可设置是否开放使用 EIP 暴露 API Server。	选中

在组件配置中，配置项保持默认，完成组件配置，单击下一步：确认配置。如您无需使用日志服务功能，可以取消选中使用日志服务，避免产生相关费用。

在确认配置中，确认配置信息，仔细阅读并选中服务协议，单击创建集群。

请您耐心等待大约3~5分钟，返回如下结果表示集群创建成功。

3. 创建 FastChat 应用

在集群列表页面，单击集群名称fastchat-demo进入集群信息页面，然后在左侧导航栏，选择工作负载 > 无状态。

在无状态页面，单击使用YAML创建资源。

在示例模板下拉列表中，选择自定义，将如下 fastchat 应用的 YAML 示例粘贴至模板，然后单击创建。

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: fastchat
  name: fastchat
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: fastchat
  template:
    metadata:
      labels:
        app: fastchat
        alibabacloud.com/eci: "true" 
      annotations:
        k8s.aliyun.com/eci-use-specs: ecs.gn6i-c8g1.2xlarge,ecs.gn5-c8g1.2xlarge,ecs.gn6v-c8g1.8xlarge,ecs.gn6i-c16g1.4xlarge
        k8s.aliyun.com/eci-extra-ephemeral-storage: 100Gi
    spec:
      dnsPolicy: Default
      containers:
      - command:
        - sh
        - -c 
        - "/root/webui.sh"
        image: yunqi-registry.cn-shanghai.cr.aliyuncs.com/lab/fastchat:v1.1.0
        imagePullPolicy: IfNotPresent
        name: fastchat
        ports:
        - containerPort: 7860
          protocol: TCP
        readinessProbe:
          failureThreshold: 3
          initialDelaySeconds: 5
          periodSeconds: 10
          successThreshold: 1
          tcpSocket:
            port: 7860
          timeoutSeconds: 1
        resources:
          requests:
            cpu: "8"
            memory: 16Gi
          limits:
            nvidia.com/gpu: 1
---
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-address-type: internet
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-instance-charge-type: PayByCLCU
  name: fastchat
  namespace: default
spec:
  externalTrafficPolicy: Local
  ports:
  - port: 7860
    protocol: TCP
    targetPort: 7860
  selector:
    app: fastchat
  type: LoadBalancer