2024-05-15
547

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
1280

新一代端侧模型,面壁 MiniCPM 2.0开源,魔搭社区最佳实践

MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力,更带来惊艳的 OCR 表现。通过自研的高清图像解码技术,可以突破传统困境,让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。

1,280
2024-05-15
122589

提升团队工程交付能力,从“看见”工程活动和研发模式开始

本文从统一工程交付的概念模型开始,介绍了如何将应用交付的模式显式地定义出来,并通过工具平台落地。

122,589
2024-05-15
174

元象开源首个MoE大模型:4.2B激活参数,效果堪比13B模型,魔搭社区最佳实践来了

近日,元象发布其首个Moe大模型 XVERSE-MoE-A4.2B, 采用混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。

2024-05-15
58828

享道出行:容器弹性技术驱动下的智慧出行稳定性实践

享道出行利用阿里云容器服务ACK,结合AHPA智能弹性与ECS、ECI混合部署,解决了业务潮汐效应带来的弹性滞后和成本问题。

58,828
2024-05-15
2353

Qwen1.5-MoE开源,魔搭社区推理训练最佳实践教程来啦

通义千问团队推出Qwen系列的首个MoE模型,Qwen1.5-MoE-A2.7B。

2,353
2024-05-15
1526

Multi-Agent实践第5期:RAG智能体的应用:让AgentScope介绍一下自己吧

本期文章,我们将向大家展示如何使用AgentScope中构建和使用具有RAG功能的智能体,创造AgentScope助手群,为大家解答和AgentScope相关的问题。

1,526
2024-05-15
583

Multi-Agent实践第6期:面向智能体编程:狼人杀在AgentScope

本期文章,我们会介绍一下AgentScope的一个设计哲学(Agent-oriented programming)

1
...
9
10
11
...
15
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
10/15