官方博客-第12页-阿里云开发者社区

  • 2024-05-15
    1163

    vLLM部署Yuan2.0:高吞吐、更便捷

    vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

    1,163
  • 2024-06-28
    1520

    深度|大模型时代下,基于湖仓一体的数据智能新范式

    本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。

    1,520
  • 2024-08-21
    1480

    阿里云百炼应用实践系列-10分钟构建能主动提问的智能导购

    通过使用阿里云百炼平台,您可以快速构建一个多代理(Multi-Agent)架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求,收集详细信息后,利用阿里云百炼的知识检索增强功能或已有的商品数据库进行商品搜索,为顾客推荐最合适的产品。

    1,480
  • 2023-08-22
    3684

    深度优化 | PolarDB-X 基于向量化SIMD指令的探索

    本文将介绍PolarDB-X对于向量化SIMD指令的探索和实践,包括基本用法及实现原理,以及在具体算子实现中的思考和沉淀。

  • 2024-05-15
    93203

    阿里云云原生弹性方案,用弹性解决集群资源利用率难题

    本文主要介绍了通过弹性,实现成本优化,解决集群资源利用率难题。

    93,203
  • 2024-05-15
    102460

    大语言模型推理提速,TensorRT-LLM 高性能推理实践

    大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

    102,460
  • 2024-05-15
    960

    Modelscope结合α-UMi:基于Modelscope的多模型协作Agent

    基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。

  • 2024-05-15
    1219

    元象大模型开源30款量化版本 加速低成本部署丨附教程

    元象大模型一次性发布30款量化版本,全开源,无条件免费商用。

    1,219
  • 2025-05-15
    901

    MCP Server On FC之旅2: 从0到1-MCP Server市场构建与存量OpenAPI转MCP Server

    本文介绍了将社区主流STDIO MCP Server一键转为企业内可插拔Remote MCP Server的方法,以及存量API智能化重生的解决方案。通过FunctionAI平台模板实现STDIO MCP Server到SSE MCP Server的快速部署,并可通过“npx”或“uvx”命令调试。同时,文章还探讨了如何将OpenAPI规范数据转化为MCP Server实例,支持API Key、HTTP Basic和OAuth 2.0三种鉴权配置。该方案联合阿里云百练、魔搭社区等平台,提供低成本、高效率的企业级MCP Server服务化路径,助力AI应用生态繁荣。

  • 1
    ...
    11
    12
    13
    ...
    57
    到第