2024-05-15
222

联合XTuner,魔搭社区全面支持数据集的长文本训练

XTuner和魔搭社区(SWIFT)合作引入了一项长序列文本训练技术,该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU,从而减少每个GPU上的显存占用。通过这种方式,训练超大规模模型时可以处理更长的序列,提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术,支持多种大模型和数据集的训练。此外,SWIFT还提供了一个用户友好的界面,方便用户进行训练和部署,并且支持评估功能。

2023-07-26
871

PolarDB-X 私有协议2.0

本文主要介绍私有协议2.0,也即XRPC的背景、总体设计、相关技术实现细节和性能测试结果。

2023-09-14
754

沉浸式学习PostgreSQL|PolarDB 13: 博客、网站按标签内容检索, 并按匹配度排序

本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.

754
2023-09-22
1470

沉浸式学习PostgreSQL|PolarDB 17: 向量数据库, 通义大模型AI的外脑

本文所涉及的实验体验的就是怎么建设AI的外脑?向量数据库的核心价值:AI外脑

1,470
2024-05-15
84229

PolarDB-X最佳实践:如何设计一张订单表

本文主要内容是如何使用全局索引与CO_HASH分区算法(CO_HASH),实现高效的多维度查询。

84,229
77708

【AAAI 2024】MuLTI:高效视频与语言理解

多模态理解模型具有广泛的应用,比如多标签分类、视频问答(videoQA)和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展,然而,他们仍然面临两个巨大的挑战:无法充分的利用现有的特征;训练时巨大的GPU内存消耗。我们提出了MuLTI,这是一种高度准确高效的视频和语言理解模型,可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。

2024-05-15
422

Mistral 7B v0.2 基础模型开源,魔搭社区微调教程和评测来啦!

Mistral AI在3月24日突然发布并开源了 Mistral 7B v0.2模型,有如下几个特点

1
...
11
12
13
...
23
到第
12/23