类目筛选
2024-05-15
534
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
534
2024-05-15
131
浅谈弹性计算管控可观测性体系建设
为什么需要可观测性？可观测性技术对业务团队的价值有哪些？如何建设一个可观测性技术体系？本文将从整体架构到核心设计一一为大家讲解。
131
2024-05-15
281
Java 22 新增利器： 使用 Java Stream Gather 优雅地处理流中的状态
本文中我们分析了 什么 是 “流”，对比了 Java 上几种常见的 “流”库，引入和详细介绍了 Java 22 中的 Stream Gather API 。同时也简单分享了利用虚拟线程 如何简化 Stream map Concurrent操作符的实现。希望抛砖引玉和大家分享新的特性，共同进步。同时也希望大家都可以升级到新版本的 JDK，更好的赋能业务。
281
2024-05-15
1263
新一代端侧模型，面壁 MiniCPM 2.0开源，魔搭社区最佳实践
MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力，更带来惊艳的 OCR 表现。通过自研的高清图像解码技术，可以突破传统困境，让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。
1,263
2024-05-15
171
元象开源首个MoE大模型：4.2B激活参数，效果堪比13B模型，魔搭社区最佳实践来了
近日，元象发布其首个Moe大模型 XVERSE-MoE-A4.2B， 采用混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。
171