类目筛选
2024-05-15
64128
通义千问开源模型在PAI灵骏的最佳实践
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
64,128
2024-05-15
61842
适应多样化需求：WASM 插件在全链路灰度发布中的应用
MSE（微服务引擎）在微服务全链路灰度场景下提供了一套成熟的功能，支持内容规则和百分比规则的灰度路由策略。
61,842
2024-05-15
1134
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
1,134
2024-05-15
742
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
742
2024-08-21
414
谈谈优雅的钩子--bpftrace
bpftrace是一个内核跟踪工具，简单来说就是在函数上挂个钩子，挂上钩子后就可以将函数的入参和返回值取出来再放入程序进行二次编程，最终能让程序按照我们的意图来对函数进行观测。
414
2024-12-06
1344
【阅读十分钟，百分百成功】——通过大模型实现对客服回答的质量评估
本文章基于业务实践，总结有关客服质检场景的解决方案和处理经验，为相似场景提供可行的借鉴方法。
1,344