类目筛选
2025-06-30
405
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
405
2025-08-11
281
MSE Nacos Controller：为 Kubernetes 生态构建配置管理与服务发现的桥梁
在企业云原生转型过程中，如何实现传统微服务与 Kubernetes 服务的配置统一管理、服务互通及协议转换成为关键挑战。MSE Nacos Controller 应运而生，作为连接 Kubernetes 与 Nacos 的桥梁，支持 ConfigMap 与 Nacos 配置双向同步、服务自动注册发现，并助力 Higress 等 MCP 网关实现 REST API 向 AI 可调用 MCP 服务的转换，全面提升系统治理能力与智能化水平。
281
2024-05-15
61703
面向全栈可观测的分布式链路追踪
全栈可观测App提供了一套完整的分析工具，从数据统计分析能力到数据关联，再到具备智能化和自动化特性的相关工具，以解决人们在可观测性方面所遇到的问题。未来，我们将持续提供更加丰富和强大的分析工具来满足用户的需求。
61,703
2024-05-15
1127
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,127