本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
本文总结了作者在日常/大促业务的“敏捷”开发过程中产生的疑惑，并尝试做出思考得到一些解决思路和方案。在前端开发和实践过程中，梳理了一些简单设计方案可以缓解当时 “头疼” 的几个敏捷迭代问题，并实践在项目迭代中。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
RocketMQ ACL 2.0 不管是在模型设计、可扩展性方面，还是安全性和性能方面都进行了全新的升级。旨在能够为用户提供精细化的访问控制，同时，简化权限的配置流程。欢迎大家尝试体验新版本，并应用在生产环境中。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
