官方博客-第10页-阿里云开发者社区

  • 2024-05-15
    3843

    大模型推理优化实践:KV cache复用与投机采样

    在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

    3,843
  • 2025-02-07
    848

    浏览量超 10w 的热图,描述 RAG 的主流架构

    大模型性能的持续提升,进一步挖掘了 RAG 的潜力,RAG 将检索系统与生成模型相结合,带来诸多优势,如实时更新知识、降低成本等。点击本文,为您梳理 RAG 的基本信息,并介绍提升大模型生成结果的方法,快一起看看吧~

    848
  • 2024-05-15
    119147

    Paimon 与 Spark 的集成(二):查询优化

    通过一系列优化,我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%,已基本和 Parquet x Spark 持平,本文对其中的关键优化点进行了详细介绍。

    119,147
  • 2024-09-03
    1601

    速成RAG+Agent框架大模型应用搭建

    本文侧重于能力总结和实操搭建部分,从大模型应用的多个原子能力实现出发,到最终串联搭建一个RAG+Agent架构的大模型应用。

    1,601
  • 2025-01-23
    987

    快速定位并优化CPU 与 JVM 内存性能瓶颈

    本文介绍了 Java 应用常见的 CPU & JVM 内存热点原因及优化思路。

    987
  • 2024-12-24
    1324

    探索大型语言模型LLM推理全阶段的JSON格式输出限制方法

    本篇文章详细讨论了如何确保大型语言模型(LLMs)输出结构化的JSON格式,这对于提高数据处理的自动化程度和系统的互操作性至关重要。

    1,324
  • 2024-05-15
    142862

    深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?

    了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。

    142,862
  • 2024-11-01
    1952

    探索LLM推理全阶段的JSON格式输出限制方法

    文章详细讨论了如何确保大型语言模型(LLMs)输出结构化的JSON格式,这对于提高数据处理的自动化程度和系统的互操作性至关重要。

    1,952
  • 2024-12-11
    1001

    SpringCloud 应用 Nacos 配置中心注解

    在 Spring Cloud 应用中可以非常低成本地集成 Nacos 实现配置动态刷新,在应用程序代码中通过 Spring 官方的注解 @Value 和 @ConfigurationProperties,引用 Spring enviroment 上下文中的属性值,这种用法的最大优点是无代码层面侵入性,但也存在诸多限制,为了解决问题,提升应用接入 Nacos 配置中心的易用性,Spring Cloud Alibaba 发布一套全新的 Nacos 配置中心的注解。

    1,001
  • 1
    ...
    9
    10
    11
    ...
    72
    到第