ONNX 与量化：提高模型效率
【8月更文第27天】随着人工智能技术的广泛应用，模型部署变得越来越重要。为了在资源受限的设备上运行复杂的机器学习模型，模型量化技术成为了一种有效的手段。Open Neural Network Exchange (ONNX) 作为一种开放格式，支持在不同框架之间交换训练好的模型，同时也支持模型量化。本文将探讨如何结合 ONNX 和模型量化技术来提高模型的效率，减少模型大小并加快推理速度。
彻底告别微调噩梦：手把手教你击退灾难性遗忘，让模型记忆永不褪色的秘密武器！
【10月更文挑战第5天】深度学习中，模型微调虽能提升性能，但也常导致灾难性遗忘，即学习新任务时遗忘旧知识。本文介绍几种有效解决方案，重点讲解弹性权重巩固（EWC）方法，通过在损失函数中添加正则项来防止重要权重被更新，保护模型记忆。文中提供了基于PyTorch的代码示例，包括构建神经网络、计算Fisher信息矩阵和带EWC正则化的训练过程。此外，还介绍了其他缓解灾难性遗忘的方法，如LwF、在线记忆回放及多任务学习，以适应不同应用场景。
企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。