类目筛选
2024-05-15
102409
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,409
2024-12-06
1304
【阅读十分钟，百分百成功】——通过大模型实现对客服回答的质量评估
本文章基于业务实践，总结有关客服质检场景的解决方案和处理经验，为相似场景提供可行的借鉴方法。
1,304
2025-02-06
458
详解智能编码在前端研发的创新应用
接下来，人与智能体的交互将变得更为紧密，比如 N 年以后是否可以逐渐过渡。这个逐渐过渡的过程实际上是温和的，从依赖人类到依赖超大规模算力的转变，可能会取代我们的一些职责。这不仅仅是简单的叠加关系。对于AI和超大规模算力，这是否意味着我们可以大幅度提升软件质量，是否可以缩短研发周期并提高效率，还有创造出更优质的软件并持续发展，这无疑是肯定的。
458
2025-02-21
806
基于虚拟服务配置的渐进式迁移实践：Istio集群至ASM集群的平滑切换
本文介绍了从Istio+k8s环境迁移到阿里云ASM+ACK环境的渐进式方法，通过配置虚拟服务和入口服务实现新老集群间的服务调用与流量转发，确保业务连续性与平滑迁移
806
2025-03-21
1081
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
1,081
2025-06-30
404
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
404
2023-10-12
131596
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。
131,596