官方博客-第11页-阿里云开发者社区

  • 2025-02-20
    643

    大模型推理服务全景图

    推理性能的提升涉及底层硬件、模型层,以及其他各个软件中间件层的相互协同,因此了解大模型技术架构的全局视角,有助于我们对推理性能的优化方案进行评估和选型。

    643
  • 2025-04-10
    541

    AI Infra之模型显存管理分析

    本文围绕某线上客户部署DeepSeek-R1满血版模型时进行多次压测后,发现显存占用一直上升,从未下降的现象,记录了排查过程。

    541
  • 2025-05-23
    551

    MCP Server 实践之旅第 3 站:MCP 协议亲和性的技术解析

    本文将以 MCP Server 在函数计算平台的深度集成为研究载体,解构基于 SSE 长连接通信模型,剖析会话亲和、优雅升级等关键技术,揭示 Serverless 架构在 MCP 场景中的亲和性创新实践。

  • 2024-05-15
    2463

    为大模型工程提效,基于阿里云 ACK 的云原生 AI 工程化实践

    本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案,随后介绍云原生 AI 领域的关键技术与架构细节,最后分享我们在 ACK 的相关经验及工程实践。

  • 2024-07-25
    14039

    通义灵码:AI 研发趋势与效果提升实践丨SDCon 全球软件技术大会演讲全文整理

    SDCon 全球软件技术大会上,阿里云通义灵码团队分享了关于 AI 辅助编码的最新研究与实践,随着 AIGC 技术的发展,软件研发领域将迎来智能化的新高度,助力 DevOps 流程优化,提升研发效率和研发幸福感。

    14,039
  • 2024-12-06
    1030

    【实战干货】AI大模型工程应用于车联网场景的实战总结

    本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势,以及这些技术如何应用于新能源汽车行业的车联网服务中。

    1,030
  • 2024-05-15
    102433

    大语言模型推理提速,TensorRT-LLM 高性能推理实践

    大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

    102,433
  • 2024-05-15
    109994

    FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

    Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。相比于传统的 x86 架构服务器,Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要,因为大模型通常需要大量的计算资源,而能效比高的 Arm 架构服务器可以提供更好的性能和效率。

    109,994
  • 2024-05-15
    3526

    Qwen1.5-MoE开源,魔搭社区推理训练最佳实践教程来啦

    通义千问团队推出Qwen系列的首个MoE模型,Qwen1.5-MoE-A2.7B。

    3,526
  • 1
    ...
    10
    11
    12
    ...
    28
    到第
    11/28