# 人工智能平台 PAI #
1
关注
4201内容
Chitu：清华核弹级开源！推理引擎3倍提速+50%省卡，国产芯片告别英伟达绑架
Chitu（赤兔）是清华大学与清程极智联合开源的高性能大模型推理引擎，支持多硬件适配，显著提升推理效率，适用于金融、医疗、交通等多个领域。
小白避坑指南：国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录（附镜像加速方案）
本文详细记录了使用Colossal-Ai对DeepSeek-Qwen模型进行微调的过程，包括模型下载、环境部署、数据集处理及代码实现等环节。重点介绍了LoRA低秩适配方法和Colossal-Ai分布式训练框架的使用技巧，解决了模型封装后函数调用冲突、梯度检查点配置等问题。通过命令行参数灵活调整训练配置，最终在两块A100 GPU上完成训练，单卡显存占用约11GB，利用率达85%。文章总结了常见问题及解决方法，为后续研究提供参考。
MHA2MLA：0.3%数据微调！复旦团队开源推理加速神器，KV缓存狂降96.87%
MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效微调方法，通过引入多头潜在注意力机制（MLA），显著优化基于Transformer的LLM推理效率，降低推理成本。
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路，DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能，在较小参数规模下，显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI，作为一站式的机器学习和深度学习平台，对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
PAI-Rec推荐平台对于实时特征有三个层次
PAI-Rec推荐平台针对实时特征有三个处理层次：1) 离线模拟反推历史请求时刻的实时特征；2) FeatureStore记录增量更新的实时特征，模型特征导出样本准确性达99%；3) 通过callback回调接口记录请求时刻的特征。各层次确保了实时特征的准确性和时效性。
基于 Megatron 的多模态大模型训练加速技术解析
Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具，旨在帮助开发者快速上手大模型，打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例，从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术
云上一键部署通义千问 QwQ-32B 模型，阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B，在一系列权威基准测试中，千问QwQ-32B模型表现异常出色，几乎完全超越了OpenAI-o1-mini，性能比肩Deepseek-R1，且部署成本大幅降低。并集成了与智能体 Agent 相关的能力，够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B，本实践带您部署体验专属 QwQ-32B模型服务。
DeepSeek开源周第五弹之一！3FS：支撑V3/R1模型数据访问的高性能分布式文件系统
3FS是DeepSeek开源的高性能分布式文件系统，专为AI训练和推理任务设计，提供高达6.6 TiB/s的读取吞吐量，支持强一致性保障和通用文件接口，优化AI工作负载。
DeepSeek开源周第五弹之二！Smallpond：构建于3FS之上的轻量级数据处理框架，高效处理PB级数据
Smallpond 是 DeepSeek 开源的轻量级数据处理框架，基于 DuckDB 和 3FS 构建，支持 PB 级数据处理，提供高性能的数据加载、查询和转换功能，适合大规模数据预处理和实时分析。
DeepSeek开源周第四弹之一！DualPipe：训练V3/R1的双向流水线并行技术，计算与训练完全重叠，训练效率提升200%
DeepSeek 开源的 DualPipe 技术通过双向流水线并行设计，显著提升大规模深度学习模型的训练效率，优化计算与通信重叠，降低内存峰值需求，适用于推理加速、多模态数据处理等场景。
免费试用