类目筛选
2024-05-15
656
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
656
2024-05-15
1049
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
1,049
2024-05-15
79661
让研发规范管得住，在流水线之上做研发流程
研发规范的目标，是为了解决或降低出现软件危机的风险。但传统流水线受限于工具的定位，无法解决研发规范的落地问题，需要在更高的层面来解决。阿里云云效团队经过内部启发后推出的新产品：云效应用交付平台 AppStack 给出了解决方案，快来使用体验吧！
79,661
