Hawa Code 多模型负载均衡

简介: Hawa Code 支持多模型智能路由与负载均衡,可配置 OpenAI、Kimi、Qwen 等多来源模型,按权重自动调度;内置协议转换、上下文压缩与连接复用,兼顾性能、灵活性与稳定性。(239字)

在使用 Coding Agent 时,同时接入多个模型来源已经非常常见。不同模型厂商通常提供不同的套餐和按量付费方式;实际使用中,也可能会接入第三方中转站或自建中转站,并在中转站中配置多个模型厂商账号,用于统一管理和负载分发。

如果只有单一模型配置,当需要在不同模型之间切换时就会比较繁琐。针对这种场景,Hawa Code 提供了多模型负载能力:用户可以配置多个模型来源,由 Hawa Code 根据路由规则自动选择并访问不同的模型。

配置

  • sources 用于配置模型来源信息,包括访问地址、API Key 和协议类型。
  • routing 用于配置 Hawa Code 实际使用的模型。每种模型类型都可以配置多个候选模型,并为它们设置不同权重,Hawa Code 会根据权重进行负载均衡访问。
{
  "sources": {
    "openai": {
      "base_url": "https://api.openai.com/v1",
      "auth_token": "{apikey}",
      "api_type": "openai",
      "models": ["gpt-5.5", "gpt-5.4-mini"]
    },
    "kimi": {
      "base_url": "https://api.kimi.com/coding",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["K2.5", "K2.6"]
    },
    "qwen-coding": {
      "base_url": "https://coding.dashscope.aliyuncs.com/apps/anthropic",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["qwen3-coder-plus"]
    }
  },
  "routing": {
    "MODEL": [
      { "source": "kimi", "model": "K2.6", "weight": 60 },
      { "source": "openai", "model": "gpt-5.5", "weight": 40 }
    ],
    "SMALL_FAST_MODEL": [
      { "source": "qwen-coding", "model": "qwen3-coder-plus", "weight": 50 },
      { "source": "kimi", "model": "K2.5", "weight": 50 }
    ]
  }
}

也可以直接在 CLI 终端中使用 /model 斜杠命令设置当前模型。

压缩

Hawa Code 会为每种模型设置默认的最大 Token 数量。当当前上下文的 Token 占比超过阈值后,Hawa Code 会自动压缩上下文。

如果配置了多个模型,Hawa Code 会以这些模型最大 Token 数量中的最小值作为压缩参考。因此,当多个模型的上下文窗口差距较大时,需要特别注意压缩触发时机,避免因为某个模型窗口较小而过早触发压缩。

缓存

对于每种模型类型,Hawa Code 只会创建一个客户端实例,并复用该实例发起请求,避免频繁创建客户端带来的额外开销。

协议转换层 (Protocol Adapter)

自动适配 OpenAI 或 Anthropic 等不同厂商的 API 协议格式,实现无感切换。


欢迎使用 Hawa Code https://www.hawacode.com/

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
目录
相关文章
|
2月前
|
人工智能 弹性计算 API
什么是 AlibabaCloud Agent Toolkit
Alibaba Cloud Agent Toolkit 是面向AI Agent的阿里云智能工具套件,集成OpenAPI、Terraform、CLI与文档能力,提供MCP插件、场景化Skills及执行审计机制,助AI准确查API、生成代码、规划架构、校验部署,实现安全、可靠、可追溯的云上智能运维。
1572 2
|
23天前
|
自然语言处理 数据可视化 数据挖掘
新版通义千问 Qwen3.8-Max-Preview 功能介绍
Qwen3.8-Max-Preview是通义千问推出的新一代旗舰大模型预览版,以2.4万亿参数规模、原生多模态能力、MoE混合专家架构为核心,在复杂推理、全栈开发、长文档处理、多智能体协作等领域实现跨越式升级,成为面向企业与开发者的全域生产力基座模型。该模型延续通义千问系列技术优势,同时突破前代性能边界,支持文本、图像、视频、文档等多模态输入输出,适配从个人开发到企业级业务的全场景需求,可通过Token Plan、Coding Plan等订阅方案接入使用。
262 0
|
1月前
|
人工智能 IDE 自动驾驶
GitHub Copilot CLI 上手指南(面向 Claude Code 深度用户)
适用版本:Copilot CLI 1.0.69 | 整理日期:20260709![封面](https://oscimg.oschina.net/oscnet/up088cf4c72af4a2960caecb7d4fa9ef4b97e.jpg) 一、安装 Copilot CLI前置条件:Node.j
736 9
GitHub Copilot CLI 上手指南(面向 Claude Code 深度用户)
|
18天前
|
弹性计算 人工智能 测试技术
阿里云轻量应用服务器抢购价38元1年,云服务器ECS特惠99元1年,区别与选购指南参考
2026年阿里云推出多款高性价比特惠云服务器,其中两款入门级产品极具代表性:新用户专属的2核2G轻量应用服务器,每日10点、15点限时抢购价低至38元/年,配备200M峰值带宽与40G ESSD云盘,预置WordPress、OpenClaw等丰富镜像,适合快速搭建个人博客、AI应用;新老用户同享的2核2G经济型e实例,99元/年且支持续费同价至2030年,拥有完整ECS功能与稳定3M带宽,适配长期运行的企业官网、开发测试场景。
|
2月前
|
前端开发 JavaScript Serverless
阿里云宜搭对接使用完全指南:六大集成路径深度解析
本文系统性地阐述了阿里云宜搭低代码开发平台与外部系统对接的六大技术路径与实践方案。文章从宜搭的架构特性出发,深入讲解了连接器机制、远程API调用、数据源配置、服务回调、OpenAPI开放接口以及FaaS函数计算集成等核心对接方式。通过详细的配置步骤、丰富的代码示例(涵盖Java、Python、JavaScript、Node.js等语言)和真实业务场景的剖析,帮助开发者全面掌握宜搭的集成能力。文章还涵盖了鉴权配置、跨域处理、性能优化、安全管控等高级话题,并提供了常见问题的解决方案。无论是简单的数据查询同步,还是复杂的业务流程编排,读者都能从中找到适合的对接策略与实施方法。
|
2月前
|
前端开发 JavaScript Serverless
阿里云宜搭对接使用完全指南:从连接到集成的全方位解析
本文系统性地阐述了阿里云宜搭低代码开发平台与外部系统对接的多种技术方案与实践路径。文章从宜搭平台的架构特性出发,深入讲解了连接器机制、远程API调用、数据源配置、服务回调、OpenAPI开放接口以及FaaS函数计算集成等六大核心对接方式。通过详细的配置步骤、丰富的代码示例(涵盖Java、Python、JavaScript等语言)和真实业务场景的剖析,帮助开发者全面掌握宜搭的集成能力。文章还涵盖了鉴权配置、跨域处理、性能优化、安全管控等高级话题,并提供了常见问题的解决方案。无论是简单的数据查询同步,还是复杂的业务流程编排,读者都能从中找到适合的对接策略与实施方法。
|
人工智能 数据可视化 开发者
深度解析基于LangGraph的Agent系统架构设计与工程实践
LangGraph作为Agent 生态中非常热门的框架,今天我将借助 LangGraph,更高效、更优雅的方式构建复杂智能体系统。
2815 2
|
人工智能 安全 搜索推荐
阿里云采购季:短信服务低至 0.01 元/条!
阿里云“上云采购季”,短信服务低至 0.01 元/条
619 3
|
前端开发 JavaScript API
2025年前端框架是该选vue还是react?有了大模型-例如通义灵码辅助编码,就不用纠结了!vue用的多选react,react用的多选vue
本文比较了Vue和React两大前端框架,从状态管理、数据流、依赖注入、组件管理等方面进行了详细对比。当前版本和下载量数据显示React更为流行,但Vue在国内用户量增长迅速。Vue 3通过组合式API提供了更灵活的状态管理和组件逻辑复用,适合中小型项目;React则更适合大型项目和复杂交互逻辑。文章还给出了选型建议,强调了多框架学习的重要性,认为技术问题已不再是选型的关键,熟悉各框架的最佳实践更为重要。
12090 1
|
Linux 测试技术
必读!教你一键迁移至阿里云
云计算以其高弹性、高扩展、高安全以及高性价比的特点,跻身热点排行榜前列,上云已经成为一种趋势和必然。   但是,上云是易事吗,迁云是易事吗?试试将一台服务器迁上云吧。   首先: 1.      整理这台服务器中所运行的应用程序、安装包、安装方法、配置方法、关联服务、关联数据等等…… 2.      在云上创建相同配置的云主机。
18615 153
必读!教你一键迁移至阿里云