类目筛选
2024-05-15
118098
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
118,098
2023-06-25
10124
MaxCompute湖仓一体近实时增量处理技术架构揭秘
本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。
10,124
2023-09-14
24997
沉浸式学习PostgreSQL|PolarDB 16: 植入通义千问大模型+文本向量化模型, 让数据库具备AI能力
本文将带领大家来体验一下如何将“千问大模型+文本向量化模型”植入到PG|PolarDB中, 让数据库具备AI能力.
24,997
2024-05-15
246
Yuan2.0大模型，联合向量数据库和Llama-index，助力检索增强生成技术
本文将以Yuan2.0最新发布的Februa模型为例进行测试验证，用更小规模的模型达到更好的效果。
246
2024-05-15
422
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
422
2024-05-15
206
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
206
2023-08-09
51353
PolarDB-X 针对跑批场景的思考和实践
金融行业和运营商系统，业务除了在线联机查询外，同时有离线跑批处理，跑批场景比较注重吞吐量，同时基于数据库场景有一定的使用惯性，比如直连MySQL分库分表的存储节点做本地化跑批、以及基于Oracle/DB2等数据库做ETL的数据清洗跑批等。
51,353
