【阅读原文】戳：使用阿里云服务网格高效管理LLM流量：（一）流量路由
人工智能领域由于大型语言模型（LLM）的出现而迎来了飞速发展。这些先进的人工智能模型能够和人类通过自然语言的方式顺畅沟通，并且具有一定的推理能力，已经完全改变了人类获取信息以及处理文本数据的方式。国内外厂商相继推出了自己的大模型服务，并且提供了适应特定行业需求的领域模型。越来越多的应用正在接入LLM。
HTTP协议一直以来都是服务网格中的一等公民，现有的LLM提供商也都以HTTP请求的方式向用户提供服务。ASM在HTTP协议的基础上，专门针对LLM请求协议进行了增强，目前已经支持常见的LLM提供商的协议标准，能够为用户提供简单高效的接入体验，可以实现LLM的灰度接入、按比例路由以及多种可观测能力。应用使用ASM接入LLM之后，可以进一步将应用与LLMProvider解耦，提升整个链路的健壮性和可维护性。
本系列文档将从流量路由、可观测，安全三个角度介绍如何在ASM中管理LLM流量。本文为该系列第一篇，重点介绍流量路由能力。
功能概述
在服务网格中，如果要将普通的外部HTTP服务注册到集群中，需要首先配置ServiceEntry，然后通过VirtualService配置相应的路由规则，之后便可以通过网关或者业务Pod调用这个外部服务。如果不注册直接调用，将无法享受到服务网格提供的流量管理、可观测以及安全能力。
然而原生的ServiceEntry只能处理普通的TCP以及HTTP协议的流量，LLM请求在HTTP协议之上有一些特定的高级参数，普通的ServiceEntry无法直接支持。在这种情况下，ASM提出了两种新的资源：
• LLMProvider：对应HTTP协议的ServiceEntry。用户可以使用该资源将外部的LLM服务提供商注册到集群中来，并且可以在此处配置LLM提供商的Host、APIKey以及其他模型参数。
• LLMRoute：对应HTTP协议的VirtualService。用户可以使用LLMRoute配置流量规则，将流量按照比例或者一定的匹配条件分发给特定的LLMProvider。
本文将通过两个示例，演示如何使用LLMProvider和LLMRoute管理集群中的LLM流量。
使用前提
• 已添加集群到ASM实例[1]，且ASM实例版本为v1.21.6.88及以上。
• 已启用Sidecar注入。具体操作，请参见配置Sidecar注入策略[2]。
• 已经开通模型服务灵积，并且获取了可用的API_KEY。具体操作，请参见如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心[3]。
• 本文的第二个示例要求开通Moonshot的API服务，并且获取了可用的API_KEY。具体操作，参见Moonshot AI 开放平台[4]。
步骤一：创建测试应用sleep
使用ACK集群的kubeconfig，应用如下YAML，创建sleep应用。
apiVersion: v1 kind: ServiceAccount metadata: name: sleep --- apiVersion: v1 kind: Service metadata: name: sleep labels: app: sleep service: sleep spec: ports: - port: 80 name: http selector: app: sleep --- apiVersion: apps/v1 kind: Deployment metadata: name: sleep spec: replicas: 1 selector: matchLabels: app: sleep template: metadata: labels: app: sleep spec: terminationGracePeriodSeconds: 0 serviceAccountName: sleep containers: - name: sleep image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/curl:asm-sleep command: ["/bin/sleep", "infinity"] imagePullPolicy: IfNotPresent volumeMounts: - mountPath: /etc/sleep/tls name: secret-volume volumes: - name: secret-volume secret: secretName: sleep-secret optional: true ---
步骤二：创建灵积模型服务的LLMProvider
使用ASM集群的Kubeconfig，创建如下资源：
apiVersion: istio.alibabacloud.com/v1beta1 kind: LLMProvider metadata: name: dashscope-qwen spec: host: dashscope.aliyuncs.com # 不同provider之间不能重复 path: /compatible-mode/v1/chat/completions configs: defaultConfig: openAIConfig: model: qwen-1.8b-chat # 默认使用开源大模型 stream: false apiKey: ${dashscope的API_KEY}
创建完成之后，可以在sleep pod中直接以HTTP协议访问dashscope.aliyuncs.com。ASM的Sidecar会自动将请求转换成符合OpenAI LLM协议的格式（模型服务灵积兼容OpenAI的LLM协议），给请求添加上APIKey，并且将HTTP协议升级为HTTPS，最终发送给集群外部的LLM提供商服务器。
使用ACK的kubeconfig执行以下命令进行测试：
kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \ --header 'Content-Type: application/json' \ --data '{ "messages": [ {"role": "user", "content": "请介绍你自己"} ] }' {"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720680044,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-1c33b950-3220-9bfe-9066-xxxxxxxxxxxx"}
步骤三：创建LLMRoute，实现不同类型的用户使用不同的模型
上一步我们使用的模型是由灵积服务提供的qwen-1.8b-chat，它是通义千问开源系列模型中参数量比较小的一个。本小节要实现的功能是：普通用户发起调用，默认使用qwen-1.8b-chat；订阅用户调用时，使用更加强大的qwen-turbo模型。订阅用户的请求上会有一个特殊的header来标识用户身份。
使用ASM集群的kubeconfig，创建如下LLMRoute：
apiVersion: istio.alibabacloud.com/v1beta1 kind: LLMRoute metadata: name: dashscope-route spec: host: dashscope.aliyuncs.com # 不同provider之间不能重复 rules: - name: vip-route matches: - headers: user-type: exact: subscriber # 订阅用户专用的路由项，后面会在provider中提供专用的配置。 backendRefs: - providerHost: dashscope.aliyuncs.com - backendRefs: - providerHost: dashscope.aliyuncs.com
该配置会让携带了user-type:subscriber的请求走vip-route这条路由规则。
使用ASM集群的kubeconfig修改LLMProvider，增加路由级别配置：
apiVersion: istio.alibabacloud.com/v1beta1 kind: LLMProvider metadata: name: dashscope-qwen spec: host: dashscope.aliyuncs.com path: /compatible-mode/v1/chat/completions configs: defaultConfig: openAIConfig: model: qwen-1.8b-chat # 默认使用开源模型 stream: false apiKey: ${dashscope的API_KEY} routeSpecificConfigs: vip-route: # 订阅用户的专用路由项 openAIConfig: model: qwen-turbo # 订阅用户使用qwen-turbo模型 stream: false apiKey: ${dashscope的API_KEY}
使用ACK集群的kubeconfig执行测试：
kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \ --header 'Content-Type: application/json' \ --data '{ "messages": [ {"role": "user", "content": "请介绍你自己"} ] }' {"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720682745,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-3d117bd7-9bfb-9121-9fc2-xxxxxxxxxxxx"}
kubectl exec deployment/sleep -it -- curl --location 'http://dashscope.aliyuncs.com' \ --header 'Content-Type: application/json' \ --header 'user-type: subscriber' \ --data '{ "messages": [ {"role": "user", "content": "请介绍你自己"} ] }' {"choices":[{"message":{"role":"assistant","content":"你好，我是来自阿里云的大规模语言模型，我叫通义千问。作为一个AI助手，我的目标是帮助用户获得准确、有用的信息，解决他们的问题和困惑。我可以提供各种领域的知识，进行对话交流，甚至创作文字，但请注意，我所提供的所有内容都是基于我所训练的数据，可能无法包含最新的事件或个人信息。如果你有任何问题，欢迎随时向我提问！"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":11,"completion_tokens":85,"total_tokens":96},"created":1720683416,"system_fingerprint":null,"model":"qwen-turbo","id":"chatcmpl-9cbc7c56-06e9-9639-a50d-xxxxxxxxxxxx"}
可以看到订阅用户使用了qwen-turbo模型。
步骤四：按比例分发流量
在生产环境中，由于业务的变动，可能需要切换不同的LLMProvider。ASM也提供了在不同的LLMProvider之间按比例路由的能力。此处我们演示将50%的流量分发给Moonshot，50%的流量分发给灵积服务。
demo-llm-server是集群中一个普通的service，没有对应任何endpoint。
首先需要新创建一个LLMProvider，使用ASM的kubeconfig，创建如下资源：
apiVersion: istio.alibabacloud.com/v1beta1 kind: LLMProvider metadata: name: moonshot spec: host: api.moonshot.cn # 不同provider之间不能重复 path: /v1/chat/completions configs: defaultConfig: openAIConfig: model: moonshot-v1-8k stream: false apiKey: ${Moonshot的API_KEY}
接下来使用ACK的kubeconfig创建一个Service，客户端访问这个Service，通过我们配置的路由规则，流量会被按比例分发给不同的LLMProvider。
apiVersion: v1 kind: Service metadata: name: demo-llm-server namespace: default spec: ports: - name: http port: 80 protocol: TCP targetPort: 80 selector: app: none type: ClusterIP
配置LLMRoute，将访问demo-llm-server的请求按照比例路由给灵积服务以及Moonshot。使用ASM集群的kubeconfig应用如下配置：
apiVersion: istio.alibabacloud.com/v1beta1 kind: LLMRoute metadata: name: demo-llm-server namespace: default spec: host: demo-llm-server rules: - backendRefs: - providerHost: dashscope.aliyuncs.com weight: 50 - providerHost: api.moonshot.cn weight: 50 name: migrate-rule
使用ACK集群的kubeconfig多次执行下面的测试，可以看到请求大约有50%被发送给Moonshot，50%被发送给灵积服务。
kubectl exec deployment/sleep -it -- curl --location 'http://demo-llm-server' \ --header 'Content-Type: application/json' \ --data '{ "messages": [ {"role": "user", "content": "请介绍你自己"} ] }'
示例输出：
{"id":"cmpl-cafd47b181204cdbb4a4xxxxxxxxxxxx","object":"chat.completion","created":1720687132,"model":"moonshot-v1-8k","choices":[{"index":0,"message":{"role":"assistant","content":"你好！我是Mina，一个AI语言模型。我的主要功能是帮助人们生成类似人类的文本。我可以写文章、回答问题、提供建议等等。我是由大量文本数据训练出来的，所以我可以生成各种各样的文本。我的目标是帮助人们更有效地沟通和解决问题。"},"finish_reason":"stop"}],"usage":{"prompt_tokens":11,"completion_tokens":59,"total_tokens":70}} {"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。我的主要功能是回答用户的问题、提供信息和进行对话交流。我可以理解用户的提问，并基于自然语言生成相应的答案或建议。我也可以学习新的知识，并将其应用于各种场景中。如果您有任何问题或需要帮助，请随时告诉我，我会尽力为您提供支持。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":3,"completion_tokens":72,"total_tokens":75},"created":1720687164,"system_fingerprint":null,"model":"qwen-1.8b-chat","id":"chatcmpl-2443772b-4e41-9ea8-9bed-xxxxxxxxxxxx"}
总结
本文主要介绍了如何在ASM中使用LLMProvider和LLMRoute管理大语言模型流量。通过相关配置可以让应用与大模型进一步解耦。应用只需要在请求中提供业务有关的信息即可，ASM会根据LLMRoute和LLMProvider配置，动态的选择路由目的地，添加预先配置好的请求参数，然后发送给对应的Provider。基于此，您可以快速变更Provider配置、根据请求特征选择不同模型、在Provider之间灰度流量等，极大降低了大模型接入集群的成本。此外，本文提到的所有LLM相关的能力，不仅可以在Sidecar上生效，同样可以在ASM出口网关和入口网关上使用。
相关链接：
[1] 已添加集群到ASM实例
https://help.aliyun.com/zh/asm/getting-started/add-a-cluster-to-an-asm-instance-1
[2] 配置Sidecar注入策略
https://help.aliyun.com/zh/asm/user-guide/configuring-a-sidecar-injection-policy
[3] 如何开通DashScope并创建API-KEY_模型服务灵积(DashScope)-阿里云帮助中心
[4] Moonshot AI开放平台
https://platform.moonshot.cn/docs/intro
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
获取关于我们的更多信息~
