类目筛选
阿里云百炼产品月刊【2024年12月】
12月，阿里云百炼带来多项技术革新与服务升级。本月重点包括VL模型部分规格降价，上线多个新模型，如视觉推理模型qvq-72b-preview、多语言文本统一排序模型gte-rerank和人物视频生成模型videoretalk等。应用模块新增音视频互动、互联网搜索及意图选择等功能，极大丰富了应用场景。此外，新增Context Cache功能和batch调用支持，提升了响应速度并降低了费用。
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
基于开源框架Spring AI Alibaba快速构建Java应用
本文旨在帮助开发者快速掌握并应用 Spring AI Alibaba，提升基于 Java 的大模型应用开发效率和安全性。
Spring AI 智能体通过 MCP 集成本地文件数据
MCP 作为一款开放协议，直接规范了应用程序如何向 LLM 提供上下文。MCP 就像是面向 AI 应用程序的 USB-C 端口，正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样，MCP 提供了一个将 AI 模型连接到不同数据源和工具的标准化方法。
探索LLM推理全阶段的JSON格式输出限制方法
文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。
白话文讲解大模型｜ Attention is all you need
本文档旨在详细阐述当前主流的大模型技术架构如Transformer架构。我们将从技术概述、架构介绍到具体模型实现等多个角度进行讲解。通过本文档，我们期望为读者提供一个全面的理解，帮助大家掌握大模型的工作原理，增强与客户沟通的技术基础。本文档适合对大模型感兴趣的人员阅读。
阿里云百炼产品月刊【2024年11月】
11月，阿里云百炼平台迎来一系列重大更新，包括推出QwQ、qwen-turbo、qwen-Plus等多个新模型及快照版本，强化AI推理、文本生成、视觉理解等能力。此外，还优化了模型管理、数据处理等功能，提升了用户体验。