使用 NVIDIA NIM 在阿里云容器服务(ACK)中加速 LLM 推理

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文介绍了在阿里云容器服务 ACK 上部署 NVIDIA NIM,结合云原生 AI 套件和 KServe 快速构建高性能模型推理服务的方法。通过阿里云 Prometheus 和 Grafana 实现实时监控,并基于排队请求数配置弹性扩缩容策略,提升服务稳定性和效率。文章提供了详细的部署步骤和示例,帮助读者快速搭建和优化模型推理服务。

大语言模型(LLM)是近年来发展迅猛并且激动人心的热点话题,引入了许多新场景,满足了各行各业的需求。随着开源模型能力的不断增强,越来越多的企业开始尝试在生产环境中部署开源模型,将 AI 模型接入到现有的基础设施,优化系统延迟和吞吐量,完善监控和安全等方面。然而要在生产环境中部署这一套模型推理服务过程复杂且耗时。为了简化流程,帮助企业客户加速部署生成式 AI 模型,本文结合 **NVIDIA NIM**(一套专为安全、可靠地部署高性能 AI 模型推理而设计的微服务,是一套易于使用的预构建容器化工具)和阿里云容器服务 ACK(https://help.aliyun.com/zh/ack/)等产品,提供了一套开箱即用,可以快速构建一个高性能、可观测、灵活弹性的 LLM 模型推理服务的操作指南。


阿里云容器服务 (ACK)云原生 AI 套件


阿里云容器服务 Kubernetes 版 ACK(Container Service for Kubernetes)是全球首批通过 Kubernetes 一致性认证的服务平台,提供高性能的容器应用管理服务,支持企业级 Kubernetes 容器化应用的生命周期管理,让您轻松高效地在云端运行 Kubernetes 容器化应用。


云原生 AI 套件(https://help.aliyun.com/zh/ack/cloud-native-ai-suite/)是阿里云容器服务 ACK 提供的云原生 AI 技术和产品方案。使用云原生 AI 套件,您可以充分利用云原生架构和技术,在 Kubernetes 容器平台上快速定制化构建 AI 生产系统,并为 AI/ML 应用和系统提供全栈优化。云原生 AI 套件支持使用 Kubeflow 社区开源的命令行工具 Arena(https://github.com/kubeflow/arena),对深度学习核心生产环节(包括数据管理、模型训练、模型评估、推理服务部署等)任务进行简单抽象和高效管理,同时降低 Kubernetes 复杂概念带来的使用复杂度。Arena 可以实现分布式训练任务的快速提交,并进行任务的生命周期管理。此外,云原生 AI 套件还提供针对分布式场景优化的调度策略,例如 Binpack 算法分配策略,提升 GPU 利用率,还支持自定义的任务优先级管理和租户弹性资源配额控制,在确保用户资源分配的基础上,通过资源共享的方式来提升集群的整体资源利用率。


阿里云云市场与计算巢一键部署

在阿里云云市场,提供了组件的一键部署服务:https://market.aliyun.com/products/201214006/cmgj00067281.html

image.png


方案介绍


本文将介绍如何在阿里云 ACK 集群上,使用云原生 AI 套件集成开源推理服务框架 KServe(https://github.com/kserve/kserve),快速部署 NVIDIA NIM。同时,结合阿里云的 Prometheus 和 Grafana 服务,快速搭建监控大盘,实时观测推理服务状态。利用 NVIDIA NIM 提供丰富的监控指标,如 num_requests_waiting,配置推理服务弹性扩缩容策略。当有突发流量导致推理服务处理请求排队时,能自动扩容新的实例来应对高峰流量。整体解决方案架构如下所示。

640.png


本文将介绍在 ACK 集群上部署 NVIDIA NIM 的步骤,总体步骤如下:

  1. 创建 ACK 集群并安装云原生 AI 套件,ack-kserve 等组件。
  2. 使用 Arena 提交 KServe 推理服务,使用 NIVDIA NIM 容器,部署 Llama3-8B 模型。
  3. 为推理服务配置监控,实时观测推理服务状态。
  4. 基于排队中请求数指标配置弹性扩缩容策略,自动灵活地调整模型服务实例的规模。


部署流程


首先需要创建包含 GPU 的 Kubernetes 集群,并部署云原生 AI 套件。为了在集群中使用 KServe 管理推理服务,还需要安装 ack-kserve️。集群环境准备好后,就可以参考下列步骤开始部署服务了。


重要

- 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。


1. 参考 NVIDIA NIM 文档,生成 NVIDIA NGC API key,访问需要部署的模型镜像,比如本文中使用的 Llama3-8b-instruct:

https://docs.nvidia.com/nim/large-language-models/latest/getting-started.html#generate-an-api-key

请阅读并承诺遵守 Llama 模型的自定义可商用开源协议:

https://llama.meta.com/llama-downloads/


2. 创建 imagePullSecret,用于从 NGC 私有仓库拉取 NIM 镜像。

export NGC_API_KEY=<your-ngc-api-key>

kubectl create secret docker-registry ngc-secret \

--docker-server=nvcr.io\

--docker-username='$oauthtoken'\

--docker-password=${NGC_API_KEY}


3. 创建 nvidia-nim-secret,用于在容器内访问 NGC 私有仓库,参考 nim-deploy 部署文档:

https://github.com/NVIDIA/nim-deploy/blob/main/kserve/README.md

kubectl apply -f-<<EOF

apiVersion: v1

kind: Secret

metadata:

 name: nvidia-nim-secrets

stringData:

 NGC_API_KEY: <your-ngc-api-key>

EOF


4. 为目标集群配置存储卷 PV 和存储声明 PVC,后续模型文件将会下载到创建的共享存储中。具体操作,请参见使用 NAS 静态存储卷:

https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/mount-statically-provisioned-nas-volumes


以下为示例 PV 的配置信息:

640 (1).png


以下为示例 PVC 的配置信息:

640 (2).png


5. 执行下列命令,部署一个 KServe 推理服务,使用 NVIDIA NIM 提供的镜像,指定使用一个 NVIDIA GPU,将 PVC 挂载到容器内的 /mnt/models 目录用于保存模型文件,配置 autoscalerClass=external 指定使用自定义 HPA 策略,同时还开启 Prometheus 采集推理服务监控指标,用于后续在 Grafana 中搭建监控大盘。等待容器启动后,即可使用 Llama3-8b-instruct 模型提供推理服务。

arena serve kserve \

   --name=llama3-8b-instruct \

   --image=nvcr.io/nim/meta/llama3-8b-instruct:1.0.0 \

   --image-pull-secret=ngc-secret \

   --gpus=1 \

   --cpu=8 \

   --memory=32Gi \

   --share-memory=32Gi \

   --port=8000 \

   --security-context runAsUser=0 \

   --annotation=serving.kserve.io/autoscalerClass=external \

   --env NIM_CACHE_PATH=/mnt/models \

   --env-from-secret NGC_API_KEY=nvidia-nim-secrets \

   --enable-prometheus=true \

   --metrics-port=8000 \

   --data=nim-model:/mnt/models


预期输出:

INFO[0004] The Job llama3-8b-instruct has been submitted successfully

INFO[0004] You can run `arena serve get llama3-8b-instruct --type kserve -n default` to check the job status


输出结果表明推理服务已部署成功。


6. 推理部署完成后,可通过执行以下命令,查看 KServe 推理服务的部署情况。

arena serve get llama3-8b-instruct


预期输出:

Name:       llama3-8b-instruct

Namespace:  default

Type:       KServe

Version:    1

Desired:    1

Available:  1

Age:        24m

Address:    http://llama3-8b-instruct-default.example.com

Port:       :80

GPU:        1



Instances:

 NAME                                           STATUS   AGE  READY  RESTARTS  GPU  NODE

 ----                                           ------   ---  -----  --------  ---  ----

 llama3-8b-instruct-predictor-545445b4bc-97qc5  Running  24m

   1/1    0         1    ap-southeast-1.172.16.xx.xxx


输出结果表明,KServe 推理服务部署成功,模型访问地址为:

http://llama3-8b-instruct-default.example.com


7. 接下来就可以访问推理服务了,可通过使用获取到的 Nginx Ingress 网关地址访问推理服务。

# Obtain the IP address of the Nginx ingress.

NGINX_INGRESS_IP=$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}')

# Obtain the Hostname of the Inference Service.

SERVICE_HOSTNAME=$(kubectl get inferenceservice llama3-8b-instruct -o jsonpath='{.status.url}' | cut -d "/" -f 3)

# Send a request to access the inference service.

curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" http://$NGINX_INGRESS_IP:80/v1/chat/completions -d '{"model": "meta/llama3-8b-instruct", "messages": [{"role": "user", "content": "Once upon a time"}], "max_tokens": 64, "temperature": 0.7, "top_p": 0.9, "seed": 10}'


预期输出:

{"id":"cmpl-70af7fa8c5ba4fe7b903835e326325ce","object":"chat.completion","created":1721557865,"model":"meta/llama3-8b-instruct","choices":[{"index":0,"message":{"role":"assistant","content":"It sounds like you're about to tell a story! I'd love to hear it. Please go ahead and continue with \"Once upon a time...\""},"logprobs":null,"finish_reason":"stop","stop_reason":128009}],"usage":{"prompt_tokens":14,"total_tokens":45,"completion_tokens":31}}


输出结果表明,已经能够通过 Nginx Ingress 网关地址访问推理服务,并成功返回推理结果。


监控


NVIDIA NIM 提供了丰富的 Prometheus 监控指标,比如首 token 时延、当前正在运行的请求数、请求 token 数、生成 token 数等指标。结合阿里云 Prometheus 和 Grafana 服务,可以快速在 Grafana 中搭建监控大盘,实时观测推理服务状态。


  1. 已开启阿里云 Prometheus 监控组件。具体操作,请参见开启阿里云 Prometheus 监控
    https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/use-alibaba-cloud-prometheus-service-to-monitor-an-ack-cluster?spm=a2c4g.11186623.0.0.612b63c5QDfm5F#section-o0u-mkk-58y

  2. 创建 grafana 工作区,登录 Grafana 的 Dashboards 页面。

  3. 导入 NVIDIA NIM 提供的 dashboard 样例:
    https://docscontent.nvidia.com/sphinx/0000018f-7ee8-d345-a7bf-ffeadf9c0000/0000018f-7ee7-db2d-a1ff-7ef744750000/nim/large-language-models/latest/_downloads/66e67782ce543dcccec574b1483f0ea0/nim-dashboard-example.json

640 (3).png

成功导入后,dashboard 示例如下

640 (4).png

弹性伸缩


在部署与管理 KServe 模型服务过程中,需应对模型推理服务面临的高度动态负载波动。KServe 通过集成 Kubernetes 原生的 HPA(Horizontal Pod Autoscaler)技术及扩缩容控制器,实现了根据 CPU 利用率、内存占用情况、GPU 利用率以及自定义性能指标,自动灵活地调整模型服务 Pod 的规模,以确保服务效能与稳定性。


基于排队请求数配置自定义指标的弹性扩缩容策略


自定义指标的扩缩容依赖 ACK 提供的 ack-alibaba-cloud-metrics-adapter 组件与 Kubernetes HPA 机制实现。详细信息,请参见基于阿里云 Prometheus 指标的容器水平伸缩

https://help.aliyun.com/zh/ack/serverless-kubernetes/user-guide/horizontal-pod-scaling-based-on-prometheus-service-metrics-1


以下示例演示如何基于 NVIDIA NIM 提供的 num_requests_waiting 指标配置扩缩容策略。


  1. 已部署阿里云 Prometheus 和 ack-alibaba-cloud-metrics-adapter,请参见基于阿里云 Prometheus 指标的容器水平伸缩:
    https://help.aliyun.com/zh/ack/serverless-kubernetes/user-guide/horizontal-pod-scaling-based-on-prometheus-service-metrics-1

  2. 在 Helm 列表的操作列,单击 ack-alibaba-cloud-metrics-adapter 对应的更新。在 custom 字段下添加如下 rules。

- seriesQuery: num_requests_waiting{namespace!="",pod!=""}

 resources:

   overrides:

     namespace: {resource: "namespace"}

     pod: {resource: "pod"}

 metricsQuery: sum(<<.Series>>{<<.LabelMatchers>>}) by (<<.GroupBy>>)


  1. 通过 Custom Metrics 进行容器伸缩,示例配置了当等待中的请求数超过 10 则进行扩容。


使用以下内容,创建 hpa.yaml 文件。

apiVersion: autoscaling/v2

kind: HorizontalPodAutoscaler

metadata:

 name: llama3-8b-instruct-hpa

 namespace: default

spec:

 # The minReplicas and maxReplicas for the HPA.

 minReplicas: 1

 maxReplicas: 3

 # An array of monitoring metrics that supports the coexistence of multiple types of metrics.

 metrics:

 - pods:

     metric:

       name: num_requests_waiting

     target:

       averageValue: 10

       type: AverageValue

   type: Pods

 # The scaling target description for the HPA, which dynamically adjusts the number of Pods for the target object.

 scaleTargetRef:

   apiVersion: apps/v1

   kind: Deployment

   name: llama3-8b-instruct-predictor


执行以下命令,创建 HPA 应用。

kubectl apply -f hpa.yam


执行以下命令,创建 HPA 应用。

kubectl  get hpa llama3-8b-instruct-hpa


预期输出:

NAME                     REFERENCE                                 TARGETS   MINPODS   MAXPODS   REPLICAS   AGE

llama3-8b-instruct-hpa   Deployment/llama3-8b-instruct-predictor   0/10      1         3         1          34s


  1. 执行以下命令,对服务进行压测。
    说明 Hey 压测工具的详细介绍,请参

https://github.com/rakyll/hey

hey -z 5m -c 400 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -d '{"model": "meta/llama3-8b-instruct", "messages": [{"role": "user", "content": "Once upon a time"}], "max_tokens": 64}' http://$NGINX_INGRESS_IP:80/v1/chat/completions


  1. 在压测期间,重新打开一个终端,执行以下命令查看服务的扩缩容情况。

kubectl describe hpa llama3-8b-instruct-hpa


预期输出包含如下内容:

Events:

 Type    Reason             Age   From                       Message

 ----    ------             ----  ----                       -------

 Normal  SuccessfulRescale  52s   horizontal-pod-autoscaler  New size: 3; reason: pods metric num_requests_waiting above target


  1. 预期输出表明在压测期间 Pod 数会扩容到 2,而当压测结束后,经过一段时间(约为 5 分钟),Pod 缩容到 1。即可以实现自定义指标的扩缩容。


总结


本文通过在阿里云容器服务 ACK 上部署 NVIDIA NIM,结合阿里云 Prometheus 和 Grafana 服务,快速在 Grafana 中搭建监控大盘,实时观测推理服务状态。为应对模型推理服务面临的动态负载波动,基于排队中的请求数配置自定义指标的弹性扩缩容策略,使模型推理服务实例根据等待中的请求数动态扩缩容。通过以上方式,可以快速构建一个高性能、可观测、极致弹性的模型推理服务。


相关链接:

1、基于NVIDIA NIM快速部署LLM模型推理服务:https://market.aliyun.com/products/201214006/cmgj00067281.html

2、NVIDIA AIE-License授权:https://market.aliyun.com/products/201214006/cmfw00067311.html







相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
5天前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
8天前
|
存储 监控 调度
应对IDC资源紧缺:ACK Edge如何解决LLM推理服务的弹性挑战
基于ACK Edge的混合云LLM弹性推理解决方案,通过动态调整云上和云下的GPU资源使用,来应对推理服务的潮汐流量需求,提高资源利用效率,降低运营成本,并确保服务稳定性和高可用性。
|
29天前
|
存储 监控 对象存储
ACK 容器监控存储全面更新:让您的应用运行更稳定、更透明
针对本地存储和 PVC 这两种容器存储使用方式,我们对 ACK 的容器存储监控功能进行了全新升级。此次更新完善了对集群中不同存储类型的监控能力,不仅对之前已有的监控大盘进行了优化,还针对不同的云存储类型,上线了全新的监控大盘,确保用户能够更好地理解和管理容器业务应用的存储资源。
117 21
|
1月前
|
存储 监控 对象存储
ACK容器监控存储全面更新:让您的应用运行更稳定、更透明
介绍升级之后的ACK容器监控体系,包括各大盘界面展示和概要介绍。
|
1月前
|
存储 运维 Kubernetes
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
飞轮科技推出了 Doris 的 Kubernetes Operator 开源项目(简称:Doris Operator),并捐赠给 Apache 基金会。该工具集成了原生 Kubernetes 资源的复杂管理能力,并融合了 Doris 组件间的分布式协同、用户集群形态的按需定制等经验,为用户提供了一个更简洁、高效、易用的容器化部署方案。
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
|
1月前
|
Kubernetes Linux 虚拟化
入门级容器技术解析:Docker和K8s的区别与关系
本文介绍了容器技术的发展历程及其重要组成部分Docker和Kubernetes。从传统物理机到虚拟机,再到容器化,每一步都旨在更高效地利用服务器资源并简化应用部署。容器技术通过隔离环境、减少依赖冲突和提高可移植性,解决了传统部署方式中的诸多问题。Docker作为容器化平台,专注于创建和管理容器;而Kubernetes则是一个强大的容器编排系统,用于自动化部署、扩展和管理容器化应用。两者相辅相成,共同推动了现代云原生应用的快速发展。
209 11
|
1月前
|
监控 安全 Cloud Native
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
|
1月前
|
人工智能 运维 监控
容器服务Kubernetes场景下可观测体系生产级最佳实践
阿里云容器服务团队在2024年继续蝉联Gartner亚洲唯一全球领导者象限,其可观测体系是运维的核心能力之一。该体系涵盖重保运维、大规模集群稳定性、业务异常诊断等场景,特别是在AI和GPU场景下提供了全面的观测解决方案。通过Tracing、Metric和Log等技术,阿里云增强了对容器网络、存储及多集群架构的监控能力,帮助客户实现高效运维和成本优化。未来,结合AI助手,将进一步提升问题定位和解决效率,缩短MTTR,助力构建智能运维体系。
|
2月前
|
人工智能 运维 Kubernetes
阿里云容器服务AI助手2.0 - 新一代容器智能运维能力
2024年11月,阿里云容器服务团队进一步深度融合现有运维可观测体系,在场景上覆盖了K8s用户的全生命周期,正式推出升级版AI助手2.0,旨在更好地为用户使用和运维K8S保驾护航。
|
2月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。

热门文章

最新文章

相关产品

  • 容器服务Kubernetes版