官方博客-第6页-阿里云开发者社区

  • 2024-05-15
    3834

    大模型推理优化实践:KV cache复用与投机采样

    在本文中,我们将详细介绍两种在业务中实践的优化策略:多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现,并分享一些实现时的关键技巧。

    3,834
  • 24838

    内附原文|详解SIGMOD’24最佳论文:PolarDB破解多主架构经典难题

    在今年的SIGMOD会议上,阿里云瑶池数据库团队的论文《PolarDB-MP: A Multi-Primary Cloud-Native Database via Disaggregated Shared Memory》获得了Industry Track Best Paper Award,这是中国企业独立完成的成果首次摘得SIGMOD最高奖。PolarDB-MP是基于分布式共享内存的多主云原生数据库,本文将介绍这篇论文的具体细节。

  • 2025-03-21
    1192

    监控vLLM等大模型推理性能

    本文将深入探讨 AI 推理应用的可观测方案,并基于 Prometheus 规范提供一套完整的指标观测方案,帮助开发者构建稳定、高效的推理应用。

    1,192
  • 1489

    【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Coder模型

    Qwen3-Coder 是通义千问最新开源的 AI 编程大模型正式开源,拥有卓越的代码和 Agent 能力,在多领域取得了开源模型的 SOTA 效果。PAI 已支持最强版本 Qwen3-Coder-480B-A35B-Instruct 的云上一键部署。

  • 2023-10-17
    2263

    使用ECS部署并使用Docker

    本文介绍如何在云服务ECS实例上,部署并使用Docker。

  • 2024-05-15
    10791

    通义千问API:找出两篇文章的不同

    本章我们将介绍如何利用大模型开发一个文档比对小工具,我们将用这个工具来给互联网上两篇内容相近但版本不同的文档找找茬,并且我们提供了一种批处理文档比对的方案

    10,791
  • 2024-07-01
    33152

    详解微服务应用灰度发布最佳实践

    相对于传统软件研发,微服务架构下典型的需求交付最大的区别在于有了能够小范围真实验证的机制,且交付单位较小,风险可控,灰度发布可以弥补线下测试的不足。本文从 DevOps 视角概述灰度发布实践,介绍如何将灰度发布与 DevOps 工作融合,快来了解吧~

  • 2024-11-29
    2108

    作为开发者,我如何提高任务型大模型应用的响应性能

    本文基于实际场景,分享了作为开发者提高大模型响应性能的四个实用方法。

    2,108
  • 2024-05-15
    1422

    Multi-Agent实践第6期:面向智能体编程:狼人杀在AgentScope

    本期文章,我们会介绍一下AgentScope的一个设计哲学(Agent-oriented programming)

    1,422
  • 1
    ...
    5
    6
    7
    ...
    72
    到第