免责声明：

1. 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。
2. 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

本实验指导您在容器服务 Serverless 版（以下简称ACK Serverless）中，容器化部署大语言模型 FastChat。

背景知识

• 容器服务ACK Serverless集群

容器服务 Serverless 版 ACK Serverless 是一款基于阿里云弹性计算基础架构，同时完全兼容 Kubernetes 生态，安全、可靠的容器产品。通过该产品，您无需管理和维护集群即可快速创建 Kubernetes 容器应用，并且根据应用实际使用的 CPU 和内存资源量进行按需付费，从而使您更专注于应用本身，而非运行应用的基础设施。

• 弹性容器实例

弹性容器实例（简称ECI）是阿里云结合容器和Serverless技术为您提供的容器运行服务。ECI能为Kubernetes提供基础的容器Pod运行环境，用户无需对集群进行节点维护和容量规划，大大减少运维工作量和成本。

• NAT网关

阿里云NAT网关（NAT Gateway，简称NAT）提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、DNAT规则可为云上服务器提供对外公网服务、及主动访问公网能力；私网NAT网关(也即VPC NAT网关)可使VPC内的ECS实例通过私网地址转换服务，实现VPC与VPC之间、及VPC与线下IDC互访能力。

• 负载均衡SLB

阿里云负载均衡（Server Load Balancer，简称SLB）是云原生时代应用高可用的基本要素。通过将流量分发到不同的后端服务来扩展应用系统的服务吞吐能力，消除单点故障并提升应用系统的可用性。 阿里云SLB包含面向4层的网络型负载均衡NLB、面向7层的应用型负载均衡ALB和传统型负载均衡CLB，是阿里云官方云原生网关。