2024-05-15
727

大模型推理优化实践:KV cache复用与投机采样

在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

727
2024-05-15
475

一文理解淘宝购物车背后的逻辑

提升用户的使用体验才是产品升级的核心,本文将从业务发展以及技术沉淀两个方面来总结淘宝购物车的产品升级之路。

2024-07-29
100

从供应商深度绑定,到走向真正的云原生,他们是这样做的

没有 K8s 的运维权限,开发者也能排查和定位问题。

2024-05-15
861

Multi-Agent实践第5期:RAG智能体的应用:让AgentScope介绍一下自己吧

本期文章,我们将向大家展示如何使用AgentScope中构建和使用具有RAG功能的智能体,创造AgentScope助手群,为大家解答和AgentScope相关的问题。

2024-05-15
140676

深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?

了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。

140,676
2024-07-03
336

阿里云百炼模型入门篇-大语言模型

本文主要介绍如何快速的通过阿里云百炼,带你如何快速入门通义千问系列大语言模型。

2024-05-15
101016

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,016
2024-05-15
238409

一文掌握大模型提示词技巧:从战略到战术

本文将用通俗易懂的语言,带你从战略(宏观)和战术(微观)两个层次掌握大模型提示词的常见技巧,真正做到理论和实践相结合,占领 AI 运用的先机。

238,409
2024-05-15
118008

Paimon 与 Spark 的集成(二):查询优化

通过一系列优化,我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%,已基本和 Parquet x Spark 持平,本文对其中的关键优化点进行了详细介绍。

118,008
1
...
3
4
5
...
26
到第
4/26