官方博客-第18页-阿里云开发者社区

  • 2025-02-20
    746

    破解 vLLM + DeepSeek 规模化部署的“不可能三角”

    vLLM 是一种便捷的大型语言模型(LLM)推理服务,旨在简化个人和企业用户对复杂模型的使用。通过 vLLM,用户可以轻松发起推理请求,享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战,如大模型参数量、高效推理能力和上下文理解等,阿里云函数计算(FC)提供了 GPU 预留实例闲置计费功能,优化了性能、成本和稳定性之间的平衡。此外,FC 支持简便的部署流程和多种应用集成方式,帮助企业快速上线并管理 vLLM 服务。总结来说,vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项,满足不同业务需求。

    746
  • 2024-05-15
    1184

    vLLM部署Yuan2.0:高吞吐、更便捷

    vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

    1,184
  • 2024-10-10
    898

    Android & iOS 使用 ARMS 用户体验监控(RUM)的最佳实践

    本文主要介绍了 ARMS 用户体验监控的基本功能特性,并介绍了在几种常见场景下的最佳实践。

    898
  • 2024-12-09
    557

    ARMS 用户体验监控正式发布原生鸿蒙应用 SDK

    阿里云 ARMS 用户体验监控(RUM)推出了针对原生鸿蒙应用的 SDK。SDK 使用 ArkTS 语言开发,支持页面采集、资源加载采集、异常采集及自定义采集等功能,能够全面监控鸿蒙应用的表现。集成简单,只需几步即可将 SDK 接入项目中,为鸿蒙应用的开发者提供了强有力的支持。

    557
  • 2025-03-11
    1602

    QwQ-32B一键部署,真正的0代码,0脚本,0门槛

    阿里云发布的QwQ-32B模型通过强化学习显著提升了推理能力,核心指标达到DeepSeek-R1满血版水平。用户可通过阿里云系统运维管理(OOS)一键部署OpenWebUI+Ollama方案,轻松将QwQ-32B模型部署到ECS,或连接阿里云百炼的在线模型。整个过程无需编写代码,全部在控制台完成,适合新手操作。

    1,602
  • 2025-04-07
    402

    Nacos托管LangChain应用Prompts和配置,助力你的AI助手快速进化

    AI 应用开发中,总有一些让人头疼的问题:敏感信息(比如 API-KEY)怎么安全存储?模型参数需要频繁调整怎么办?Prompt 模板改来改去,每次都得重启服务,太麻烦了!别急,今天我们就来聊聊如何用 Nacos 解决这些问题。

  • 2025-06-16
    570

    告别‘人海战术’!基于EvalScope 的文生图模型智能评测新方案

    生成式模型在文本生成图片等领域的快速发展,为社区带来了日新月异的诸多文生图模型。

  • 2025-08-18
    517

    基于 EventBridge 构筑 AI 领域高效数据集成方案

    本文深入探讨了AI时代数据处理的变革与挑战,分析了事件驱动架构(EventBridge)在AI数据处理中的技术优势,并结合实践案例,展示了其在多源数据接入、向量数据库优化、智能数据转换等方面的应用价值。

  • 1
    ...
    17
    18
    19
    ...
    60
    到第