2024-05-15
1618

大模型推理优化实践:KV cache复用与投机采样

在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

1,618
2024-05-15
281253

深入浅出LangChain与智能Agent:构建下一代AI助手

LangChain为大型语言模型提供了一种全新的搭建和集成方式,通过这个强大的框架,我们可以将复杂的技术任务简化,让创意和创新更加易于实现。本文从LangChain是什么到LangChain的实际案例到智能体的快速发展做了全面的讲解。

281,253
2024-05-15
331

准确率100%,阿里商旅账单系统架构设计实践

阿里商旅作为飞猪旅行旗下面向企业客户的数字化差旅解决方案产品,依托飞猪旅行机票、酒店供应链为企业客户提供一站式的机票、酒店、火车票、用车等预订管控及结算票据服务。阿里商旅不仅是集团欢行的供应商,而且近几年在商业化差旅市场上崭露头角,服务了2万+中大型客户,43万+小微企业。

2024-05-15
802

如何使用SASE快速构建零信任架构

企业构建零信任架构已经成为近年热门的话题之一。本质都是保护企业核心数据安全,防止未经合法授权的数据的访问行为。阿里云SASE依托于阿里云的网络组网优势,为用户提供一个稳定、高效的SD-WAN组网及接入能力,与此同时叠加安全能力。

802
2024-05-15
180

图像检索解决方案

针对图像检索业务场景,PAI提供了端到端的相似图像匹配和图像检索解决方案。本文介绍如何基于未标注的数据构建图像自监督模型,助力您快速搭建相似图像匹配和图像检索业务系统,进而实现以图搜图。

180
2024-05-15
846

智能客服对话系统解决方案

针对问题咨询场景中出现大量相关领域的问题,PAI提供了智能客服对话系统解决方案,以降低客户等待时间和人工客服成本。本文以汽车售前咨询业务领域为例,介绍如何基于人工智能算法,快速构建智能客服对话系统。

846
2024-05-15
375

阿里妈妈展示广告引擎新探索:迈向全局最优算力分配

在绿色计算的大背景下,算力分配将朝着更加高效和智能的方向持续演进。本文将介绍阿里妈妈展示广告引擎在全局视角下优化算力分配的新探索,让在线引擎像变形金刚一样灵活强悍。算力在提倡节能减排,降本增效,追求绿色技术的大趋势下,充分利用好算力资源,尤其是在阿里妈妈展示广告引擎这种使用近百万core机器资源的业...

2024-05-15
789

一文理解淘宝购物车背后的逻辑

提升用户的使用体验才是产品升级的核心,本文将从业务发展以及技术沉淀两个方面来总结淘宝购物车的产品升级之路。

2024-05-15
547

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

1
...
6
7
8
...
12
到第
1
2
3
4
5
6
7
8
9
10
11
12
7/12