使用阿里云服务网格高效管理LLM流量：（一）流量路由-阿里云开发者社区

【阅读原文】戳：使用阿里云服务网格高效管理LLM流量：（一）流量路由

人工智能领域由于大型语言模型（LLM）的出现而迎来了飞速发展。这些先进的人工智能模型能够和人类通过自然语言的方式顺畅沟通，并且具有一定的推理能力，已经完全改变了人类获取信息以及处理文本数据的方式。国内外厂商相继推出了自己的大模型服务，并且提供了适应特定行业需求的领域模型。越来越多的应用正在接入LLM。

HTTP协议一直以来都是服务网格中的一等公民，现有的LLM提供商也都以HTTP请求的方式向用户提供服务。ASM在HTTP协议的基础上，专门针对LLM请求协议进行了增强，目前已经支持常见的LLM提供商的协议标准，能够为用户提供简单高效的接入体验，可以实现LLM的灰度接入、按比例路由以及多种可观测能力。应用使用ASM接入LLM之后，可以进一步将应用与LLMProvider解耦，提升整个链路的健壮性和可维护性。

本系列文档将从流量路由、可观测，安全三个角度介绍如何在ASM中管理LLM流量。本文为该系列第一篇，重点介绍流量路由能力。

功能概述

在服务网格中，如果要将普通的外部HTTP服务注册到集群中，需要首先配置ServiceEntry，然后通过VirtualService配置相应的路由规则，之后便可以通过网关或者业务Pod调用这个外部服务。如果不注册直接调用，将无法享受到服务网格提供的流量管理、可观测以及安全能力。

然而原生的ServiceEntry只能处理普通的TCP以及HTTP协议的流量，LLM请求在HTTP协议之上有一些特定的高级参数，普通的ServiceEntry无法直接支持。在这种情况下，ASM提出了两种新的资源：

• LLMProvider：对应HTTP协议的ServiceEntry。用户可以使用该资源将外部的LLM服务提供商注册到集群中来，并且可以在此处配置LLM提供商的Host、APIKey以及其他模型参数。

• LLMRoute：对应HTTP协议的VirtualService。用户可以使用LLMRoute配置流量规则，将流量按照比例或者一定的匹配条件分发给特定的LLMProvider。

本文将通过两个示例，演示如何使用LLMProvider和LLMRoute管理集群中的LLM流量。

使用前提

• 已添加集群到ASM实例[1]，且ASM实例版本为v1.21.6.88及以上。

• 已启用Sidecar注入。具体操作，请参见配置Sidecar注入策略[2]。

• 已经开通模型服务灵积，并且获取了可用的API_KEY。具体操作，请参见如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心[3]。

• 本文的第二个示例要求开通Moonshot的API服务，并且获取了可用的API_KEY。具体操作，参见Moonshot AI 开放平台[4]。

步骤一：创建测试应用sleep

使用ACK集群的kubeconfig，应用如下YAML，创建sleep应用。

apiVersion: v1
kind: ServiceAccount
metadata:
  name: sleep
---
apiVersion: v1
kind: Service
metadata:
  name: sleep
  labels:
    app: sleep
    service: sleep
spec:
  ports:
  - port: 80
    name: http
  selector:
    app: sleep
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sleep
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sleep
  template:
    metadata:
      labels:
        app: sleep
    spec:
      terminationGracePeriodSeconds: 0
      serviceAccountName: sleep
      containers:
      - name: sleep
        image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/curl:asm-sleep
        command: ["/bin/sleep", "infinity"]
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - mountPath: /etc/sleep/tls
          name: secret-volume
      volumes:
      - name: secret-volume
        secret:
          secretName: sleep-secret
          optional: true
---

步骤二：创建灵积模型服务的LLMProvider

使用ASM集群的Kubeconfig，创建如下资源：

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMProvider
metadata:  
  name: dashscope-qwen
spec:
  host: dashscope.aliyuncs.com # 不同provider之间不能重复
  path: /compatible-mode/v1/chat/completions
  configs:
    defaultConfig:
      openAIConfig:
        model: qwen-1.8b-chat  # 默认使用开源大模型
        stream: false
        apiKey: ${dashscope的API_KEY}

创建完成之后，可以在sleep pod中直接以HTTP协议访问dashscope.aliyuncs.com。ASM的Sidecar会自动将请求转换成符合OpenAI LLM协议的格式（模型服务灵积兼容OpenAI的LLM协议），给请求添加上APIKey，并且将HTTP协议升级为HTTPS，最终发送给集群外部的LLM提供商服务器。

使用ACK的kubeconfig执行以下命令进行测试：

kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {"role": "user", "content": "请介绍你自己"}
    ]
}'
{"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720680044,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-1c33b950-3220-9bfe-9066-xxxxxxxxxxxx"}

步骤三：创建LLMRoute，实现不同类型的用户使用不同的模型

上一步我们使用的模型是由灵积服务提供的qwen-1.8b-chat，它是通义千问开源系列模型中参数量比较小的一个。本小节要实现的功能是：普通用户发起调用，默认使用qwen-1.8b-chat；订阅用户调用时，使用更加强大的qwen-turbo模型。订阅用户的请求上会有一个特殊的header来标识用户身份。

使用ASM集群的kubeconfig，创建如下LLMRoute：

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:  
  name: dashscope-route
spec:
  host: dashscope.aliyuncs.com # 不同provider之间不能重复
  rules:
  - name: vip-route
    matches:
    - headers:
        user-type:
          exact: subscriber  # 订阅用户专用的路由项，后面会在provider中提供专用的配置。
    backendRefs:
    - providerHost: dashscope.aliyuncs.com
  - backendRefs:
    - providerHost: dashscope.aliyuncs.com

该配置会让携带了user-type:subscriber的请求走vip-route这条路由规则。

使用ASM集群的kubeconfig修改LLMProvider，增加路由级别配置：

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMProvider
metadata:  
  name: dashscope-qwen
spec:
  host: dashscope.aliyuncs.com
  path: /compatible-mode/v1/chat/completions
  configs:
    defaultConfig:
      openAIConfig:
        model: qwen-1.8b-chat  # 默认使用开源模型
        stream: false
        apiKey: ${dashscope的API_KEY}
    routeSpecificConfigs:
      vip-route:  # 订阅用户的专用路由项
        openAIConfig:
          model: qwen-turbo  # 订阅用户使用qwen-turbo模型
          stream: false
          apiKey: ${dashscope的API_KEY}

使用ACK集群的kubeconfig执行测试：

kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {"role": "user", "content": "请介绍你自己"}
    ]
}'
{"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720682745,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-3d117bd7-9bfb-9121-9fc2-xxxxxxxxxxxx"}

kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \
--header 'Content-Type: application/json' \
--header 'user-type: subscriber' \
--data '{
    "messages": [
        {"role": "user", "content": "请介绍你自己"}
    ]
}'
{"choices":[{"message":{"role":"assistant","content":"你好，我是来自阿里云的大规模语言模型，我叫通义千问。作为一个AI助手，我的目标是帮助用户获得准确、有用的信息，解决他们的问题和困惑。我可以提供各种领域的知识，进行对话交流，甚至创作文字，但请注意，我所提供的所有内容都是基于我所训练的数据，可能无法包含最新的事件或个人信息。如果你有任何问题，欢迎随时向我提问！"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":11,"completion_tokens":85,"total_tokens":96},"created":1720683416,"system_fingerprint":null,"model":"qwen-turbo","id":"chatcmpl-9cbc7c56-06e9-9639-a50d-xxxxxxxxxxxx"}

可以看到订阅用户使用了qwen-turbo模型。

步骤四：按比例分发流量

在生产环境中，由于业务的变动，可能需要切换不同的LLMProvider。ASM也提供了在不同的LLMProvider之间按比例路由的能力。此处我们演示将50%的流量分发给Moonshot，50%的流量分发给灵积服务。

demo-llm-server是集群中一个普通的service，没有对应任何endpoint。

首先需要新创建一个LLMProvider，使用ASM的kubeconfig，创建如下资源：

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMProvider
metadata:  
  name: moonshot
spec:
  host: api.moonshot.cn # 不同provider之间不能重复
  path: /v1/chat/completions
  configs:
    defaultConfig:
      openAIConfig:
        model: moonshot-v1-8k
        stream: false
        apiKey: ${Moonshot的API_KEY}

接下来使用ACK的kubeconfig创建一个Service，客户端访问这个Service，通过我们配置的路由规则，流量会被按比例分发给不同的LLMProvider。

apiVersion: v1
kind: Service
metadata:
  name: demo-llm-server
  namespace: default
spec:
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: none
  type: ClusterIP

配置LLMRoute，将访问demo-llm-server的请求按照比例路由给灵积服务以及Moonshot。使用ASM集群的kubeconfig应用如下配置：

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:
  name: demo-llm-server
  namespace: default
spec:
  host: demo-llm-server
  rules:
  - backendRefs:
    - providerHost: dashscope.aliyuncs.com
      weight: 50
    - providerHost: api.moonshot.cn
      weight: 50
    name: migrate-rule

使用ACK集群的kubeconfig多次执行下面的测试，可以看到请求大约有50%被发送给Moonshot，50%被发送给灵积服务。

kubectl exec deployment/sleep -it -- curl --location 'http://demo-llm-server' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {"role": "user", "content": "请介绍你自己"}
    ]
}'

示例输出：

{"id":"cmpl-cafd47b181204cdbb4a4xxxxxxxxxxxx","object":"chat.completion","created":1720687132,"model":"moonshot-v1-8k","choices":[{"index":0,"message":{"role":"assistant","content":"你好！我是Mina，一个AI语言模型。我的主要功能是帮助人们生成类似人类的文本。我可以写文章、回答问题、提供建议等等。我是由大量文本数据训练出来的，所以我可以生成各种各样的文本。我的目标是帮助人们更有效地沟通和解决问题。"},"finish_reason":"stop"}],"usage":{"prompt_tokens":11,"completion_tokens":59,"total_tokens":70}}
{"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720687164,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-2443772b-4e41-9ea8-9bed-xxxxxxxxxxxx"}

总结

本文主要介绍了如何在ASM中使用LLMProvider和LLMRoute管理大语言模型流量。通过相关配置可以让应用与大模型进一步解耦。应用只需要在请求中提供业务有关的信息即可，ASM会根据LLMRoute和LLMProvider配置，动态的选择路由目的地，添加预先配置好的请求参数，然后发送给对应的Provider。基于此，您可以快速变更Provider配置、根据请求特征选择不同模型、在Provider之间灰度流量等，极大降低了大模型接入集群的成本。此外，本文提到的所有LLM相关的能力，不仅可以在Sidecar上生效，同样可以在ASM出口网关和入口网关上使用。

相关链接：

[1] 已添加集群到ASM实例

https://help.aliyun.com/zh/asm/getting-started/add-a-cluster-to-an-asm-instance-1

[2] 配置Sidecar注入策略

https://help.aliyun.com/zh/asm/user-guide/configuring-a-sidecar-injection-policy

[3] 如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心

https://help.aliyun.com/zh/dashscope/developer-reference/acquisition-and-configuration-of-api-key?spm=a2c4g.11186623.0.0.7eaa5b78kNMzpk

[4] Moonshot AI开放平台

https://platform.moonshot.cn/docs/intro

我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信、微博、知乎

获取关于我们的更多信息~

使用阿里云服务网格高效管理LLM流量：（一）流量路由

阿里云基础设施

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件