2024-05-15
192

联合XTuner,魔搭社区全面支持数据集的长文本训练

XTuner和魔搭社区(SWIFT)合作引入了一项长序列文本训练技术,该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU,从而减少每个GPU上的显存占用。通过这种方式,训练超大规模模型时可以处理更长的序列,提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术,支持多种大模型和数据集的训练。此外,SWIFT还提供了一个用户友好的界面,方便用户进行训练和部署,并且支持评估功能。

272

内附原文|SIGMOD’24:百万核的智能调度,云数仓如何结合AI处理用户混合负载

论文提出的Flux通过使用AI技术将短时和长时查询解耦进行自动弹性,解决了云数据仓库的性能瓶颈,同时支持了资源按需预留。Flux优于传统的方法,查询响应时间 (RT) 最多可减少75%,资源利用率提高19.0%,成本开销降低77.8%。

2024-08-16
7869

让X不断延伸, 从跨AZ到跨Region再到跨Cloud

本文从“空间”这一维度,聊一聊PolarDB-X在跨空间部署能力上的不断发展和延伸,以及在不同空间范围下的高可用和容灾能力,并着重介绍一下最新的产品能力——GDN(Global Database Network)。

7,869
4494

Apache Paimon 在同程旅行的探索实践

本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。

海量数据实时分析引擎 Apache Flink

当系统出现大量或者重大的错误却不被人感知,将会对业务产生影响,从而导致资产损失。当竞争对手实施了新战术,却无法及时感知,跟不上竞争对手的节奏,总是追着对方尾巴走。当要做决策的时候,海量的业务数据增长却无法实时看到聚合结果,决策总是凭借过往经验或者过时的数据分析之上。

2023-04-14
356

如何在 Anolis 8 上构建基于 Nydus 和 Dragonfly 的镜像加速解决方案

Nydus+Dragonfly 组合减少容器启动过程中镜像的拉取时间,提升集群间的镜像分发效率。

356
2023-05-10
2454

Hologres+大模型初探,让ChatGPT回答商家问题

本文介绍基于Hologres+ChatGPT提供智能客服服务的实践。

2,454
2023-08-07
340

MaxCompute ODPS 重装上阵,QUALIFY

MaxCompute支持QUALIFY语法过滤Window函数的结果,使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

340
2023-09-08
483

MaxCompute半结构化数据思考与创新

本文将介绍MaxCompute在半结构化数据方面的一些思考与创新,围绕半结构化数据简析、传统方案优劣对比、MaxCompute半结构化数据解决方案、收益分析。

483
1
...
18
19
20
...
34
到第
19/34