【阅读原文】戳：波动跃迁：基于 Knative 加速 AI Agent 应用落地
“采用阿里云 ACK+Knative 方案，实现用户虚拟机的秒级启停，既保障了服务稳定性，又使资源成本降低 50%，研发效率提升 90%。”
——波动跃迁（成都）科技有限公司 CEO 李辰
公司介绍
波动跃迁（成都）科技有限公司 [1]，成立于 2024 年 8 月，并获得数百万种子轮融资。
公司产品包括:
- 开源 Agent 框架: 基于 python 的 Agent 框架 GeneralAgent [2]，453 star。
- 开源pdf解析工具: gptpdf [3]，3.5K star。
- 口笛AI [4]: 一个软件 UGC 平台，让非程序员也可以在AI的帮助下，开发全栈应用和组件、通用 Agent。
业务场景
口笛 AI 平台主要主要是 C 端用户，业务场景包括应用开发和通用 Agent。
应用开发
用户在口笛 AI 上开发各种全栈的应用，支持以下特性:
- 功能全栈: 前端、后端、数据库、支付、部署。
- 对话式开发，不用拖拉拽就可以全部搞定。
- 无需配置 superbase，平台自带数据库。
- 无需配置 stripe，平台自带收费逻辑，不仅应用可以收费，也可以分享成组件出去，按量收费。不同于模版收费，只要有人用，就实时到账收益。
- python 后端: 完全兼容 python 生态，AI 自动帮你安装各种库，比如视频剪辑。
- 可以开发带 AI 功能的应用: 简单 AI 功能、单 Agent、Agent 使用工具、Agent 提示词调优、多Agent 等各种 AI 功能，口笛 AI 都可以自动帮助你开发。
- 支持 GPU 功能: 根据你提出的需求，口笛AI可以自动判断你是否需要使用 GPU 来进行加速。比如多个视频和配音文件的合成，如果使用 CPU 合成，需要 10~30 分钟，但是使用 GPU，只需要 1~2 分钟就可以搞定。
通用Agent
用户可以在应用开发里面，开发组件，并给这些组件定价。
在通用 Agent 里面，可以通过搜索开放组件、安装库等，来完成用户各种各种的需求，比如:
- 生成音频、图片、海报、故事级别的长视频。
- 深度搜索，生成 PPT、PPT 讲解视频、报告。
- 完成各种定时任务，比如搜索并总结信息、周期性提醒休息、在网站上进行操作等。
面临问题
口笛 AI 主要面向 C 端大规模用户，用户在使用应用开发和通用 Agent 的时候，都可以涉及到每个人自己的虚拟机，安装库等。
如何快速启动用户的虚拟机、在闲时自动下线、用时自动启动，而且是大规模机器时，管理这些虚拟机，并且保证服务的稳定性成了一个难题。
解决方案
我们使用阿里云的 ACK+Knative 方案，解决了上面的问题。Knative 提供多版本流量管理能力，可以快速部署 Agent 进行功能验证，此外提供开箱即用的基于请求的自动弹性 KPA（Knative Pod Autoscaler），可以根据业务访问量自动扩/缩容资源，并做到无流量访问时缩容到 0 资源。
运行逻辑:
- 用户进行应用开发时，Agent 会动态往 Knative 中添加对应的应用或者组件。
- 在用户使用通用 Agent 时，Agent 会动态调用 Knative 中的组件和安装库，来完成各种任务。
- 在用户直接使用一些应用时，会直接调用 Knative 对应的应用服务。
业务价值
通过上述方案，可以让用户的代码几乎实时上下线，快速分享应用和组件给其他人使用。让平台整体能力的迭代从小时级变成了用户驱动的分钟级迭代，效率提升 90% 以上。
资源成本上，让大量闲置虚拟机，可以做到用时启动，特别是一些低频使用的应用/组件，整体节约有 50% 以上。
相关链接：
[1] 波动跃迁（成都）科技有限公司
[2] GeneralAgent
https://github.com/CosmosShadow/GeneralAgent
[3] gptpdf
https://github.com/CosmosShadow/gptpdf
[4] 口笛AI
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
获取关于我们的更多信息~
