2024-05-15
63627

为什么 Lettuce 会带来更长的故障时间

本文详述了阿里云数据库 Tair/Redis 将使用长连接客户端在非预期故障宕机切换场景下的恢复时间从最初的 900s 降到 120s 再到 30s的优化过程,涉及产品优化,开源产品问题修复等诸多方面。

63,627
2024-05-15
730

大模型推理优化实践:KV cache复用与投机采样

在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

730
2024-05-15
475

一文理解淘宝购物车背后的逻辑

提升用户的使用体验才是产品升级的核心,本文将从业务发展以及技术沉淀两个方面来总结淘宝购物车的产品升级之路。

2024-07-29
102

从供应商深度绑定,到走向真正的云原生,他们是这样做的

没有 K8s 的运维权限,开发者也能排查和定位问题。

2024-05-15
140683

深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?

了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。

140,683
2024-07-03
342

阿里云百炼模型入门篇-大语言模型

本文主要介绍如何快速的通过阿里云百炼,带你如何快速入门通义千问系列大语言模型。

2024-05-15
280297

深入浅出LangChain与智能Agent:构建下一代AI助手

LangChain为大型语言模型提供了一种全新的搭建和集成方式,通过这个强大的框架,我们可以将复杂的技术任务简化,让创意和创新更加易于实现。本文从LangChain是什么到LangChain的实际案例到智能体的快速发展做了全面的讲解。

280,297
2024-05-15
861

Multi-Agent实践第5期:RAG智能体的应用:让AgentScope介绍一下自己吧

本期文章,我们将向大家展示如何使用AgentScope中构建和使用具有RAG功能的智能体,创造AgentScope助手群,为大家解答和AgentScope相关的问题。

2024-05-15
101019

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,019
1
...
3
4
5
...
35
到第
4/35