类目筛选
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
阿里云百炼应用实践系列-AI助手快速搭建
本文主要介绍如何基于百炼平台快速在10分钟为您的网站添加一个 AI 助手。我们基于百炼平台的能力，以官方帮助文档为参考，搭建了一个以便全天候（7x24）回应客户咨询的AI助手，介绍了相关技术方案和主要代码，供开发者参考。
阿里云百炼应用实践系列-10分钟构建能主动提问的智能导购
通过使用“百炼”平台，您可以快速构建一个多代理（Multi-Agent）架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求，收集详细信息后，利用“百炼”的知识检索增强功能或已有的商品数据库进行商品搜索，为顾客推荐最合适的产品。
基于阿里云函数计算（FC）x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算（FC）构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent，也支持基于Ollama部署的开源模型场景。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。