Higress有没有可能支持根据模型名称路由到不同的厂商提供的模型？
Higress有没有可能支持根据模型名称路由到不同的厂商提供的模型？
比如 gpt4 -> qwen; gpt4o -> ollama
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
现在就可以哦，用transformer插件把body里model参数解析出来设置到header里，然后创建根据不同header路由到不同厂商API https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/transformer#%E7%89%B9%E6%AE%8A%E7%94%A8%E6%B3%95%E5%AE%9E%E7%8E%B0%E5%9F%BA%E4%BA%8Ebody%E5%8F%82%E6%95%B0%E8%B7%AF%E7%94%B1
这里有个body参数路由的说明 此回答整理自钉群“Higress 社区交流 2 群”
2024-06-05 23:15:22赞同 1 展开评论
相关问答
热门讨论
热门文章
展开全部
还有其他疑问?
咨询AI助理