近端策略优化(PPO)算法的理论基础与PyTorch代码详解
近端策略优化（PPO）是深度强化学习中高效的策略优化方法，广泛应用于大语言模型的RLHF训练。PPO通过引入策略更新约束机制，平衡了更新幅度，提升了训练稳定性。其核心思想是在优势演员-评论家方法的基础上，采用裁剪和非裁剪项组成的替代目标函数，限制策略比率在[1-ϵ, 1+ϵ]区间内，防止过大的策略更新。本文详细探讨了PPO的基本原理、损失函数设计及PyTorch实现流程，提供了完整的代码示例。
内部干货 | 基于华为昇腾910B算力卡的大模型部署和调优-课程讲义
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
大语言模型工作原理和工作流程
大语言模型（Large Language Models，简称LLMs）是一类具有大量参数的深度学习模型，它们在自然语言处理（NLP）领域中，通过处理大量的文本数据来学习语言模式、语法和语义，从而理解和生成人类语言。
深度强化学习中SAC算法：数学原理、网络架构及其PyTorch实现
软演员-评论家算法（Soft Actor-Critic, SAC）是深度强化学习领域的重要进展，基于最大熵框架优化策略，在探索与利用之间实现动态平衡。SAC通过双Q网络设计和自适应温度参数，提升了训练稳定性和样本效率。本文详细解析了SAC的数学原理、网络架构及PyTorch实现，涵盖演员网络的动作采样与对数概率计算、评论家网络的Q值估计及其损失函数，并介绍了完整的SAC智能体实现流程。SAC在连续动作空间中表现出色，具有高样本效率和稳定的训练过程，适合实际应用场景。
ONNX 优化技巧：加速模型推理
【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式，用于表示机器学习模型，使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎，旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。