官方博客-第8页-阿里云开发者社区

  • 2025-02-28
    1159

    大模型推理主战场:通信协议的标配

    DeepSeek加速了模型平权,大模型推理需求激增,性能提升主战场从训练转向推理。SSE(Server-Sent Events)和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据,如一问一答场景;WebSocket支持双向实时通信,适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议,能更好地支持流式输出、长时任务处理和多轮交互,满足大模型应用的需求。随着用户体量扩大,网关层面临软件变更、带宽成本及恶意攻击等挑战,需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。

    1,159
  • 2024-05-15
    15245

    Llama 3开源,魔搭社区手把手带你推理,部署,微调和评估

    Meta发布了 Meta Llama 3系列,是LLama系列开源大型语言模型的下一代。在接下来的几个月,Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能,并会分享 Llama 3 研究论文。

    15,245
  • 2025-07-10
    780

    用 AI + 高德地图 MCP,3 小时做出杭州美食地图

    本文记录了一次从灵光一现到快速落地的 AI + 地图服务实践,通过结合 Cursor 与高德 MCP 地图服务平台,作者仅用几个小时就实现了一个可交互、可筛选、可推荐的杭州美食地图应用。

    780
  • 2024-05-15
    73838

    通义灵码技术解析,打造 AI 原生开发新范式

    本文第一部分先介绍 AIGC 对软件研发的根本性影响,从宏观上介绍当下的趋势;第二部分将介绍 Copilot 模式,第三部分是未来软件研发 Agent 产品的进展。

  • 2025-03-21
    1227

    监控vLLM等大模型推理性能

    本文将深入探讨 AI 推理应用的可观测方案,并基于 Prometheus 规范提供一套完整的指标观测方案,帮助开发者构建稳定、高效的推理应用。

    1,227
  • 2025-03-27
    1194

    大模型联网搜索的短板与突破之路

    本文作者详细分析了当前大模型在联网搜索功能中存在的几个主要问题,并提供了具体的案例和解决方案。

    1,194
  • 2023-09-26
    139068

    云原生场景下高可用架构的最佳实践

    云原生场景下高可用架构的最佳实践

    139,068
  • 2025-04-03
    1903

    开源 Remote MCP Server 一站式托管来啦!

    MCP Server 的实施存在着诸多挑战,特别是在认证授权、服务可靠性和可观测性方面,Higress 作为 AI 原生的 API 网关,提供了完整的开源 MCP Server 托管解决方案,实现存量 API 到 MCP 的协议转换。即将上线的 MCP 市场,将大幅降低开发者构建 MCP Server 的时间和人力成本。

    1,903
  • 2023-02-22
    23247

    Flink CDC+Kafka 加速业务实时化

    阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。

    23,247
  • 1
    ...
    7
    8
    9
    ...
    73
    到第