类目筛选
2025-02-28
992
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
992
2025-05-12
910
如何在通义灵码里使用 MCP 能力
通义灵码支持MCP工具使用，通过模型自主规划实现工具调用，深度集成魔搭MCP广场，涵盖2400+热门服务。提供STDIO和SSE两种通信模式，适用于不同场景需求。用户可通过智能体模式调用MCP工具，完成如网页内容抓取、天气查询等任务。文档详细介绍了服务配置、使用流程及常见问题解决方法，助力开发者高效拓展AI编码能力。
910
2023-11-07
43572
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。
43,572
2024-05-15
582
Yuan2.0大模型，联合向量数据库和Llama-index，助力检索增强生成技术
本文将以Yuan2.0最新发布的Februa模型为例进行测试验证，用更小规模的模型达到更好的效果。
582
2024-07-09
1423
阿里云百炼应用实践系列-基于LlamaIndex的文档问答助手
本文以阿里云百炼官方文档问答助手为例，介绍如何基于阿里云百炼平台打造基于LlamaIndex的RAG文档问答产品。我们基于阿里云百炼平台的底座能力，以官方帮助文档为指定知识库，搭建了问答服务，支持钉钉、Web访问。介绍了相关技术方案和主要代码，供开发者参考。
1,423