类目筛选
2024-05-15
1610
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
1,610
2024-05-15
1489
Multi-Agent实践第5期：RAG智能体的应用：让AgentScope介绍一下自己吧
本期文章，我们将向大家展示如何使用AgentScope中构建和使用具有RAG功能的智能体，创造AgentScope助手群，为大家解答和AgentScope相关的问题。
1,489
2024-07-29
18286
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
18,286
2024-09-02
406
基于阿里云函数计算（FC）x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算（FC）构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent，也支持基于Ollama部署的开源模型场景。
406
2024-10-22
245
最佳实践：通义灵码生成单元测试，让单测更简单
本文首先讲述了什么是单元测试、单元测试的价值、一个好的单元测试所具备的原则，进而引入如何去编写一个好的单元测试，通义灵码是如何快速生成单元测试的。
245
2024-11-11
85
应用网关的演进历程和分类
唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的 AI 浪潮下，网关又会迸发怎样新的形态。
85