Hawa Code 多模型负载均衡

简介: Hawa Code 支持多模型智能路由与负载均衡,可配置 OpenAI、Kimi、Qwen 等多来源模型,按权重自动调度;内置协议转换、上下文压缩与连接复用,兼顾性能、灵活性与稳定性。(239字)

在使用 Coding Agent 时,同时接入多个模型来源已经非常常见。不同模型厂商通常提供不同的套餐和按量付费方式;实际使用中,也可能会接入第三方中转站或自建中转站,并在中转站中配置多个模型厂商账号,用于统一管理和负载分发。

如果只有单一模型配置,当需要在不同模型之间切换时就会比较繁琐。针对这种场景,Hawa Code 提供了多模型负载能力:用户可以配置多个模型来源,由 Hawa Code 根据路由规则自动选择并访问不同的模型。

配置

  • sources 用于配置模型来源信息,包括访问地址、API Key 和协议类型。
  • routing 用于配置 Hawa Code 实际使用的模型。每种模型类型都可以配置多个候选模型,并为它们设置不同权重,Hawa Code 会根据权重进行负载均衡访问。
{
  "sources": {
    "openai": {
      "base_url": "https://api.openai.com/v1",
      "auth_token": "{apikey}",
      "api_type": "openai",
      "models": ["gpt-5.5", "gpt-5.4-mini"]
    },
    "kimi": {
      "base_url": "https://api.kimi.com/coding",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["K2.5", "K2.6"]
    },
    "qwen-coding": {
      "base_url": "https://coding.dashscope.aliyuncs.com/apps/anthropic",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["qwen3-coder-plus"]
    }
  },
  "routing": {
    "MODEL": [
      { "source": "kimi", "model": "K2.6", "weight": 60 },
      { "source": "openai", "model": "gpt-5.5", "weight": 40 }
    ],
    "SMALL_FAST_MODEL": [
      { "source": "qwen-coding", "model": "qwen3-coder-plus", "weight": 50 },
      { "source": "kimi", "model": "K2.5", "weight": 50 }
    ]
  }
}

也可以直接在 CLI 终端中使用 /model 斜杠命令设置当前模型。

压缩

Hawa Code 会为每种模型设置默认的最大 Token 数量。当当前上下文的 Token 占比超过阈值后,Hawa Code 会自动压缩上下文。

如果配置了多个模型,Hawa Code 会以这些模型最大 Token 数量中的最小值作为压缩参考。因此,当多个模型的上下文窗口差距较大时,需要特别注意压缩触发时机,避免因为某个模型窗口较小而过早触发压缩。

缓存

对于每种模型类型,Hawa Code 只会创建一个客户端实例,并复用该实例发起请求,避免频繁创建客户端带来的额外开销。

协议转换层 (Protocol Adapter)

自动适配 OpenAI 或 Anthropic 等不同厂商的 API 协议格式,实现无感切换。


欢迎使用 Hawa Code https://www.hawacode.com/

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
目录
相关文章
|
2月前
|
人工智能 弹性计算 API
什么是 AlibabaCloud Agent Toolkit
Alibaba Cloud Agent Toolkit 是面向AI Agent的阿里云智能工具套件,集成OpenAPI、Terraform、CLI与文档能力,提供MCP插件、场景化Skills及执行审计机制,助AI准确查API、生成代码、规划架构、校验部署,实现安全、可靠、可追溯的云上智能运维。
1399 2
|
移动开发 网络协议 架构师
超详细的TCP、Sokcket和SuperSocket与TCP入门指导
本文主要介绍TCP、Sokcket和SuperSocket的基础使用。
超详细的TCP、Sokcket和SuperSocket与TCP入门指导
|
存储 JSON 开发框架
C# RulesEngine 规则引擎:从入门到看懵
说明 安装 怎么使用 多参数 全局参数、本地参数 全局参数 本地参数 定义验证成功、失败行为 计算折扣 使用自定义函数 静态函数 实例函数 自定义执行器
814 0
|
17天前
|
自然语言处理 数据可视化 数据挖掘
新版通义千问 Qwen3.8-Max-Preview 功能介绍
Qwen3.8-Max-Preview是通义千问推出的新一代旗舰大模型预览版,以2.4万亿参数规模、原生多模态能力、MoE混合专家架构为核心,在复杂推理、全栈开发、长文档处理、多智能体协作等领域实现跨越式升级,成为面向企业与开发者的全域生产力基座模型。该模型延续通义千问系列技术优势,同时突破前代性能边界,支持文本、图像、视频、文档等多模态输入输出,适配从个人开发到企业级业务的全场景需求,可通过Token Plan、Coding Plan等订阅方案接入使用。
244 0
|
人工智能 数据可视化 开发者
深度解析基于LangGraph的Agent系统架构设计与工程实践
LangGraph作为Agent 生态中非常热门的框架,今天我将借助 LangGraph,更高效、更优雅的方式构建复杂智能体系统。
2798 2
|
前端开发 JavaScript API
2025年前端框架是该选vue还是react?有了大模型-例如通义灵码辅助编码,就不用纠结了!vue用的多选react,react用的多选vue
本文比较了Vue和React两大前端框架,从状态管理、数据流、依赖注入、组件管理等方面进行了详细对比。当前版本和下载量数据显示React更为流行,但Vue在国内用户量增长迅速。Vue 3通过组合式API提供了更灵活的状态管理和组件逻辑复用,适合中小型项目;React则更适合大型项目和复杂交互逻辑。文章还给出了选型建议,强调了多框架学习的重要性,认为技术问题已不再是选型的关键,熟悉各框架的最佳实践更为重要。
12063 1
|
7月前
|
SQL 存储 分布式计算
Hologres Dynamic Table在淘天价格力的业务实践
淘天价格力团队依托Hologres Dynamic Table,实现亿级商品数据的高效治理。通过增量刷新与全量刷新机制,支持秒级圈选、分钟级报表更新,满足大促场景下高时效、多维度分析需求,显著提升数据灵活性与决策效率。
|
文字识别 Serverless 对象存储
10分钟-使用阿里云函数计算构建你的OCR智能识别云端小程序
本文介绍使用支付宝小程序与函数计算的完成OCR光学字符识别的例子,十分钟快速开发一个轻量级可扩展云端小程序
17963 2
|
监控 NoSQL 大数据
NoSQL最新现状和趋势:云NoSQL数据库将成重要增长引擎
NoSQL最早起源于1998年,但从2009年开始,NoSQL真正开始逐渐兴起和发展。回望历史应该说NoSQL数据库的兴起,完全是十年来伴随互联网技术,大数据数据的兴起和发展,NoSQL在面临大数据场景下相对于关系型数据库运用,这一概念无疑是一种全新思维的注入。
39562 2

热门文章

最新文章