类目筛选
2024-05-15
102469
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,469
2024-05-15
63364
All in One：Prometheus 多实例数据统一管理最佳实践
当管理多个Prometheus实例时，阿里云Prometheus托管版相比社区版提供了更可靠的数据采集和便捷的管理。本文比较了全局聚合实例与数据投递方案，两者在不同场景下各有优劣。
63,364
2025-01-15
488
一键生成毛茸萌宠形象，基于函数计算极速部署 ComfyUI 生图系统
本次方案将帮助大家实现使用阿里云产品函数计算FC，只需简单操作，就可以快速配置ComfyUI大模型，创建出你的专属毛茸茸萌宠形象。内置基础大模型+常用插件+部分 Lora，以风格化图像生成只需用户让体验键配置简单方便，后续您可以根据自己的需要更换需要的模型、Lora、增加插件。
488
2024-05-16
57085
容器内存可观测性新视角：WorkingSet 与 PageCache 监控
本文介绍了 Kubernetes 中的容器工作内存（WorkingSet）概念，它用于表示容器内存的实时使用量，尤其是活跃内存。
57,085
2024-07-29
20117
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
20,117
2024-09-06
1495
API 网关 OpenID Connect 实战：单点登录（SSO）如此简单
单点登录（SSO）可解决用户在多系统间频繁登录的问题，OIDC 因其标准化、简单易用及安全性等优势成为实现 SSO 的优选方案，本文通过具体步骤示例对 Higress 中开源的 OIDC Wasm 插件进行了介绍，帮助用户零代码实现 SSO 单点登录。
1,495
2024-09-23
1140
重磅！阿里云可观测产品家族全新升级，AI +数据双驱动，打造全栈可观测体系
近日，阿里云可观测产品家族正式发布云监控 2.0，隶属产品日志服务 SLS、云监控 CMS、应用实时监控服务 ARMS 迎来重磅升级。
1,140