官方博客-第20页-阿里云开发者社区

  • 2025-02-20
    747

    破解 vLLM + DeepSeek 规模化部署的“不可能三角”

    vLLM 是一种便捷的大型语言模型(LLM)推理服务,旨在简化个人和企业用户对复杂模型的使用。通过 vLLM,用户可以轻松发起推理请求,享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战,如大模型参数量、高效推理能力和上下文理解等,阿里云函数计算(FC)提供了 GPU 预留实例闲置计费功能,优化了性能、成本和稳定性之间的平衡。此外,FC 支持简便的部署流程和多种应用集成方式,帮助企业快速上线并管理 vLLM 服务。总结来说,vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项,满足不同业务需求。

    747
  • 2025-03-11
    1602

    QwQ-32B一键部署,真正的0代码,0脚本,0门槛

    阿里云发布的QwQ-32B模型通过强化学习显著提升了推理能力,核心指标达到DeepSeek-R1满血版水平。用户可通过阿里云系统运维管理(OOS)一键部署OpenWebUI+Ollama方案,轻松将QwQ-32B模型部署到ECS,或连接阿里云百炼的在线模型。整个过程无需编写代码,全部在控制台完成,适合新手操作。

    1,602
  • 2025-03-21
    1174

    AI 推理场景的痛点和解决方案

    一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景,解决相关问题,本文我们会针对每个场景逐一说明。

    1,174
  • 2025-03-21
    775

    解决隐式内存占用难题

    本文详细介绍了在云原生和容器化部署环境中,内存管理和性能优化所面临的挑战及相应的解决方案。

  • 2025-04-07
    441

    IngressNightmare:Ingress Nginx 再曝5个安全漏洞,可接管你的 K8s 集群

    是否还记得 2022 年 K8s Ingress Nginx 披露了的 3 个高危安全漏洞(CVE-2021-25745, CVE-2021-25746, CVE-2021-25748),并在那一年宣布停止接收新功能 PR,专注修复并提升稳定性。

  • 2023-09-15
    120046

    Hologres RoaringBitmap实践,千亿级画像数据秒级分析

    本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践,实现更快更准的画像分析。

    120,046
  • 101810

    阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台

    阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台

  • 2024-05-15
    93901

    使用KMS为MSE-Nacos敏感配置加密的最佳实践

    本文主要介绍通过KMS密钥管理服务产生的密钥对敏感的AK等数据进行加密之后可以有效解决泄漏带来的安全风险问题,其次通过KMS凭据托管的能力直接将MSE的主AK进行有效管理,保障全链路无AK的业务体验,真正做到安全、可控。

    93,901
  • 2024-05-15
    483

    计算巢AppFlow-如何在钉钉群实现智能答疑

    随着大模型能力越来越强大,利用大语言模型进行智能答疑已经成为了一个非常普遍和常见的场景。然而,各个产品或业务方要能够准确有效地进行答疑,仅依靠大模型的通用能力是远远不够的,这时候利用私有领域FAQ文档进行大模型的检索增强生成往往可以有效解决上述问题。

  • 1
    ...
    19
    20
    21
    ...
    62
    到第