wxchyy-39337_社区达人页

2025年03月

• 03.22 10:44:45
  发表了文章 2025-03-22 10:44:45

  强化学习:时间差分(TD)(SARSA算法和Q-Learning算法)(看不懂算我输专栏)——手把手教你入门强化学习(六)

  本文介绍了时间差分法（TD）中的两种经典算法：SARSA和Q-Learning。二者均为无模型强化学习方法，通过与环境交互估算动作价值函数。SARSA是On-Policy算法，采用ε-greedy策略进行动作选择和评估；而Q-Learning为Off-Policy算法，评估时选取下一状态中估值最大的动作。相比动态规划和蒙特卡洛方法，TD算法结合了自举更新与样本更新的优势，实现边行动边学习。文章通过生动的例子解释了两者的差异，并提供了伪代码帮助理解。
• 03.19 09:33:42
  发表了文章 2025-03-19 09:33:42

  强化学习:蒙特卡罗求解最优状态价值函数——手把手教你入门强化学习(五)

  本文介绍了强化学习中的蒙特卡罗算法，包括其基本概念、两种估值方法（首次访问蒙特卡罗与每次访问蒙特卡罗）及增量平均优化方式。蒙特卡罗法是一种基于完整回合采样的无模型学习方法，通过统计经验回报的平均值估计状态或动作价值函数。文章详细讲解了算法流程，并指出其初期方差较大、估值不稳定等缺点。最后对比动态规划，说明了蒙特卡罗法在强化学习中的应用价值。适合初学者理解蒙特卡罗算法的核心思想与实现步骤。
• 03.18 09:25:40
  发表了文章 2025-03-18 09:25:40

  强化学习:动态规划求解最优状态价值函数——手把手教你入门强化学习(四)

  本文介绍了基于模型的强化学习算法，重点讲解动态规划（DP）。动态规划通过分解问题为子问题求解状态价值函数，利用贝尔曼期望方程迭代更新。其核心性质包括最优子结构和重叠子问题，适用于已知转移概率和奖励的MDP场景。文章回顾了前期强化学习基础，并展望了后续内容如蒙特卡罗法。适合初学者系统了解强化学习算法原理与应用。
• 03.17 10:04:36
  发表了文章 2025-03-17 10:04:36

  强化学习:实践理解Markov决策过程(MDP)(干中学系列)——手把手教你入门强化学习(三)

  本博客以实践为主，带领读者巩固上期关于“Markov决策过程”的核心概念。通过构建学生马尔可夫奖励模型、计算收获值与状态价值，进一步验证贝尔曼方程。详细介绍了转移概率、奖励值及策略概率的设置，并实现了均匀随机策略下的状态价值计算与最优策略的价值评估。结合代码实例，帮助读者深入理解强化学习理论。适合初学者实践与进阶学习。
• 03.16 10:24:22
  发表了文章 2025-03-16 10:24:22

  强化学习:Markov决策过程(MDP)——手把手教你入门强化学习(二)

  本文是“手把手教你入门强化学习”系列的第二篇，重点讲解了强化学习的核心数学模型——Markov决策过程（MDP）。文章从马尔可夫性质出发，逐步引入马尔可夫过程、马尔可夫奖励过程，最终深入到马尔可夫决策过程，详细解析了状态转移、奖励机制、价值函数及贝尔曼方程等关键概念。同时，文中还介绍了策略函数、最优价值函数等内容，并指出求解强化学习问题的关键在于寻找最优策略。通过理论推导与实践结合的方式，帮助读者更好地理解强化学习基础原理。
• 03.16 10:02:14
  发表了文章 2025-03-16 10:02:14

  强化学习：Gym的库的实践——小车上山(包含强化学习基础概念，环境配置国内镜像加速)——手把手教你入门强化学习（一）

  本文开启“手把手教你入门强化学习”专栏，介绍强化学习基础概念及实践。强化学习通过智能体与环境交互，学习最优策略以最大化累积奖励，适用于复杂动态决策问题。文章讲解智能体、环境等核心概念，并使用Gym库进行案例实操，如CartPole和MountainCar环境的代码实现。最后预告下期将深入马尔科夫决策过程（MDP）。适合初学者系统了解强化学习并动手实践。创作不易，欢迎关注、点赞与收藏！
• 03.15 14:54:12
  发表了文章 2025-03-15 14:54:12

  小白避坑指南：国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录（附镜像加速方案）

  本文详细记录了使用Colossal-Ai对DeepSeek-Qwen模型进行微调的过程，包括模型下载、环境部署、数据集处理及代码实现等环节。重点介绍了LoRA低秩适配方法和Colossal-Ai分布式训练框架的使用技巧，解决了模型封装后函数调用冲突、梯度检查点配置等问题。通过命令行参数灵活调整训练配置，最终在两块A100 GPU上完成训练，单卡显存占用约11GB，利用率达85%。文章总结了常见问题及解决方法，为后续研究提供参考。