类目筛选
2024-12-06
1320
【阅读十分钟，百分百成功】——通过大模型实现对客服回答的质量评估
本文章基于业务实践，总结有关客服质检场景的解决方案和处理经验，为相似场景提供可行的借鉴方法。
1,320
2025-02-20
638
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
638
2025-03-21
1111
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
1,111
2024-05-16
57024
容器内存可观测性新视角：WorkingSet 与 PageCache 监控
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
57,024
2024-07-01
33067
详解微服务应用灰度发布最佳实践
相对于传统软件研发，微服务架构下典型的需求交付最大的区别在于有了能够小范围真实验证的机制，且交付单位较小，风险可控，灰度发布可以弥补线下测试的不足。本文从 DevOps 视角概述灰度发布实践，介绍如何将灰度发布与 DevOps 工作融合，快来了解吧~
33,067
2024-07-19
21916
Higress 重磅更新：AI 能力全面开源，云原生能力再升级
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
21,916
2024-05-15
2449
为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践
本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
2,449
2024-07-30
3570
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能：RAG（Retrieval-Augmented Generation）检索增强生成的能力，本文就跟大家分享下企业知识库能帮开发者做些什么。
3,570