类目筛选
2025-02-20
638
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
638
2025-03-21
1111
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
1,111
2024-05-16
57024
容器内存可观测性新视角：WorkingSet 与 PageCache 监控
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
57,024
2024-07-19
21916
Higress 重磅更新：AI 能力全面开源，云原生能力再升级
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
21,916
2024-05-15
2449
为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践
本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
2,449
2024-06-18
2298
森马基于MaxCompute+Hologres+DataWorks构建数据中台
本次案例主要分享森马集团面对多年自建的多套数仓产品体系，通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台，保障数据生产稳定性与数据质量，减少ETL链路及计算时间，每年数仓整体费用从300多万降到180万。
2,298
2024-07-16
20449
几百T的视频、图片数据进行更有效地存储和管理
采用传统硬盘搭建存储方案，看起来成本低廉，但是再加上各种附加因素后却大幅攀升，而云存储厂商通常提供基于订阅的定价模型、一些免费服务和一定的折扣。现在，我们就来了解一下如何更省钱地使用云存储。
20,449
2024-07-30
3570
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能：RAG（Retrieval-Augmented Generation）检索增强生成的能力，本文就跟大家分享下企业知识库能帮开发者做些什么。
3,570