类目筛选
2024-05-15
1614
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
1,614
2024-11-04
149
只要几句话，通义灵码帮你创建专属健康管理小程序
数字时代的大潮中，编程不再高深莫测，而是每个人都可以尝试并享受的乐趣。今天，就让我们一起探索如何利用通义灵码的自然语言生成代码功能，轻松打造你的专属健康管理小程序，说不定在这个过程中，不管是身材管理，还是编程学习，都能让你离目标更近一步。
149
2024-07-29
18293
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
18,293
2024-11-11
87
应用网关的演进历程和分类
唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的 AI 浪潮下，网关又会迸发怎样新的形态。
87
2024-09-02
412
基于阿里云函数计算（FC）x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算（FC）构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent，也支持基于Ollama部署的开源模型场景。
412