类目筛选
2024-05-15
102406
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,406
2024-05-15
1351
Multi-Agent实践第6期：面向智能体编程：狼人杀在AgentScope
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
1,351
2024-07-29
20037
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
20,037
2024-08-06
783
AI 创业及变现新思路：零门槛 AI 绘图，定制 ComfyUI Serverless API 应用
为了帮助用户高效率、低成本应对企业级复杂场景，本文介绍 ComfyUI API Serverless 版解决方案，通过使用该方案，用户可以充分利用 ComfyUI +Serverless 技术优势快速开发上线 AI 绘画应用，期待为广大开发者 AI 绘画创业及变现提供思路。
783
2024-11-01
952
Serverless GPU：助力 AI 推理加速
近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。
952
