2024-05-15
140

元象开源首个MoE大模型:4.2B激活参数,效果堪比13B模型,魔搭社区最佳实践来了

近日,元象发布其首个Moe大模型 XVERSE-MoE-A4.2B, 采用混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。

2024-05-15
364

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

60235

突破大表瓶颈|小鹏汽车使用PolarDB实现百亿级表高频更新和实时分析

PolarDB已经成为小鹏汽车应对TB级别大表标注、分析查询的"利器"。

2019-12-24
1881

资源编排ROS之自定制资源(基础篇)

本文介绍资源编排ROS的基础知识配置。

2022-04-02
28667

【ECS最佳实践】ECS+RDS构建云服务器主动防御系统部署开源蜜罐系统Hfish及ECS周边功能测试

我已经是阿里云ECS产品的老用户了,阿里的云计算产品性能可靠性毋庸置疑,这次分享一个开源蜜罐系统Hfish的单节点搭建,并围绕ECS周边的技术功能做个简单举例。

2023-04-14
349

如何在 Anolis 8 上构建基于 Nydus 和 Dragonfly 的镜像加速解决方案

Nydus+Dragonfly 组合减少容器启动过程中镜像的拉取时间,提升集群间的镜像分发效率。

349
2024-05-15
394

元象大模型开源30款量化版本 加速低成本部署丨附教程

元象大模型一次性发布30款量化版本,全开源,无条件免费商用。

2024-07-08
46676

私网环境下使用云效流水线进行 CI/CD的方法

云效流水线可以托管用户的私网环境内的机器,并将构建任务调度到这些机器上,从而确保整个构建过程,和代码库和制品库的交互在私网环境下进行。

46,676
2019-12-23
1602

资源编排ROS之自定制资源(多云部署AWS篇)

资源编排服务(Resource Orchestration Service, 简称ROS)是阿里云提供的一项简化云计算资源管理的服务。您可以遵循ROS定义的模板规范编写资源栈模板,在模板中定义所需的云计算资源(例如ECS实例、RDS数据库实例)、资源间的依赖关系等。

1
...
9
10
11
...
28
到第
10/28