类目筛选
2024-05-15
1187
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,187
2024-08-12
591
使用 Higress 快速构建 AI 应用
Higress 基于企业内外的丰富场景沉淀了众多面向 AI 的功能，推出了 AI 原生的 API 网关形态并且全部开源。
591
2024-09-24
596
通过实验深入了解 TCP 数据的发送和接收
本系列文章是组内写给新人和实习生的 TCP入门系列教程，结合了理论和实践，本篇为第二篇，建议先读上篇《通过实验深入了解TCP 连接的建立和关闭》。
596
2024-11-15
1269
AI经营｜多Agent择优生成商品标题
商品标题中关键词的好坏是商品能否被主搜检索到的关键因素，使用大模型自动优化标题成为【AI经营】中的核心能力之一，本文讲述大模型如何帮助商家优化商品素材，提升商品竞争力。
1,269
2024-11-21
1007
“无”中生有：基于知识增强的RAG优化实践
本文作者基于自身在RAG技术领域长达半年的实践经验，分享了从初识RAG的潜力到面对实际应用挑战的心路历程，以及如何通过一系列优化措施逐步解决这些挑战的过程。
1,007
