官方博客-第12页-阿里云开发者社区

  • 2024-05-16
    57077

    容器内存可观测性新视角:WorkingSet 与 PageCache 监控

    本文介绍了 Kubernetes 中的容器工作内存(WorkingSet)概念,它用于表示容器内存的实时使用量,尤其是活跃内存。

  • 2024-09-06
    1486

    API 网关 OpenID Connect 实战:单点登录(SSO)如此简单

    单点登录(SSO)可解决用户在多系统间频繁登录的问题,OIDC 因其标准化、简单易用及安全性等优势成为实现 SSO 的优选方案,本文通过具体步骤示例对 Higress 中开源的 OIDC Wasm 插件进行了介绍,帮助用户零代码实现 SSO 单点登录。

  • 2024-05-15
    1163

    vLLM部署Yuan2.0:高吞吐、更便捷

    vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

    1,163
  • 2024-08-21
    1480

    阿里云百炼应用实践系列-10分钟构建能主动提问的智能导购

    通过使用阿里云百炼平台,您可以快速构建一个多代理(Multi-Agent)架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求,收集详细信息后,利用阿里云百炼的知识检索增强功能或已有的商品数据库进行商品搜索,为顾客推荐最合适的产品。

    1,480
  • 2025-01-26
    1268

    最近谈论 SSE 和 WebSocket 的人越来越多的原因

    实时通信已经成了大模型应用的标配。

  • 2025-05-15
    902

    MCP Server On FC之旅2: 从0到1-MCP Server市场构建与存量OpenAPI转MCP Server

    本文介绍了将社区主流STDIO MCP Server一键转为企业内可插拔Remote MCP Server的方法,以及存量API智能化重生的解决方案。通过FunctionAI平台模板实现STDIO MCP Server到SSE MCP Server的快速部署,并可通过“npx”或“uvx”命令调试。同时,文章还探讨了如何将OpenAPI规范数据转化为MCP Server实例,支持API Key、HTTP Basic和OAuth 2.0三种鉴权配置。该方案联合阿里云百练、魔搭社区等平台,提供低成本、高效率的企业级MCP Server服务化路径,助力AI应用生态繁荣。

  • 2024-05-15
    93203

    阿里云云原生弹性方案,用弹性解决集群资源利用率难题

    本文主要介绍了通过弹性,实现成本优化,解决集群资源利用率难题。

    93,203
  • 2024-05-15
    102460

    大语言模型推理提速,TensorRT-LLM 高性能推理实践

    大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

    102,460
  • 2024-05-15
    960

    Modelscope结合α-UMi:基于Modelscope的多模型协作Agent

    基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。

  • 1
    ...
    11
    12
    13
    ...
    65
    到第