类目筛选
2024-05-15
15103
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
15,103
2024-11-06
1800
基于开源框架Spring AI Alibaba快速构建Java应用
本文旨在帮助开发者快速掌握并应用 Spring AI Alibaba，提升基于 Java 的大模型应用开发效率和安全性。
1,800
2025-02-13
4299
在通义灵码里用上DeepSeek-V3 和 DeepSeek-R1 满血版671B模型
除了 AI 程序员的重磅上线外，近期通义灵码能力再升级全新上线模型选择功能，目前已经支持 Qwen2.5、DeepSeek-V3 和 R1系列模型，用户可以在 VSCode 和 JetBrains 里搜索并下载最新通义灵码插件，在输入框里选择模型，即可轻松切换模型。
4,299
2024-05-15
3740
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
3,740
2024-06-24
53137
从云原生视角看 AI 原生应用架构的实践
本文核心观点： • 基于大模型的 AI 原生应用将越来越多，容器和微服务为代表的云原生技术将加速渗透传统业务。 • API 是 AI 原生应用的一等公民，并引入了更多流量，催生企业新的生命力和想象空间。 • AI 原生应用对网关的需求超越了传统的路由和负载均衡功能，承载了更大的 AI 工程化使命。 • AI Infra 的一致性架构至关重要，API 网关、消息队列、可观测是 AI Infra 的重要组成。
53,137