本文作者基于自身在RAG技术领域长达半年的实践经验，分享了从初识RAG的潜力到面对实际应用挑战的心路历程，以及如何通过一系列优化措施逐步解决这些挑战的过程。
最近，通义灵码上线 MCP（ModelScope Cloud Platform）功能，从之前代码生成及修改的基础功能，到可以使用MCP服务连接更多功能，开发者可以实现从 代码爬取、模型推理到应用部署
本篇文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
本文深入解析了Model Context Protocol（MCP）协议，探讨其在AI领域的应用与技术挑战。MCP作为AI协作的“USB-C接口”，通过标准化数据交互解决大模型潜力释放的关键瓶颈。文章详细分析了MCP的生命周期、传输方式（STDIO与SSE），并提出针对SSE协议不足的优化方案——MCP Proxy，实现从STDIO到SSE的无缝转换。同时，函数计算平台被推荐为MCP Server的理想运行时，因其具备自动弹性扩缩容、高安全性和按需计费等优势。最后，展望了MCP技术演进方向及对AI基础设施普及的推动作用，强调函数计算助力MCP大规模落地，加速行业创新。
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
