强化学习快速入门与实战--极客时间课程推荐/优惠

你将获得：

• 理解强化学习的核心概念与经典算法；
• 配套代码示例深入强化学习必备基础；
• 探索强化学习领域的研究热点；
• 解锁强化学习的 6 大应用场景。

强化学习已然成为 AI 核心支柱之一，近年在 AI 各领域不断有强化学习驱动的方法取得各种亮眼成绩，比如 DeepSeek-R1。

然而 RL 是一门强交叉学科，学习曲线陡峭且发展迅速。从理论的角度，RL 因为涉及时序和反馈，其复杂度高于其他机器学习科目。从工程的角度，RL 涉及分布式计算和同步/异步更新，且 RL 采样效率低，需要大量反馈，想将一个 RL 系统在实际大规模环境应用，所需的工程 trick 一点不少于其他领域。而且 RL 中的概念复杂，术语众多，甚至还有不同流派的 RLer，对概念的使用存在混杂的情况。

那么该如何入门呢？

我们邀请到在 RL 领域有着多年实践经验的 H 博士和袁从德老师，他们将采用“理论、算法、实战”相结合的方式，循序渐进地带你掌握强化学习的核心知识与实践技能。

1. 难度适中，层层递进，注重对理论的理解而非推导

祖师爷 Sutton 的 RL 圣经前几章集中讲解了大量理论相关内容，比如贝尔曼迭代、时序差分、动态规划、蒙特卡洛……很多初学者读完前几章就被劝退了。

然而对于初学者，在理解重要定理的同时，控制难度也很重要。无需将每个细节都死磕清楚。当然，想要入门 RL，MDP 数学理论依然是绕不开的部分。

因此，“基础篇”花了大量的篇幅介绍强化学习的基础，比如 MDP、Value-based RL、Policy-based RL 以及动态规划和蒙特卡洛的基本思想。但努力做到难度适中。在介绍数理相关的定理时，尽量用形象生动的语言让你对艰深晦涩的理论有直观理解，而不是像学术领域那样给出严格但枯燥的证明。同时对于想要进一步在理论上深挖的同学，讲师也会在专栏以及互动过程中提供进阶知识指引。

2. 与时俱进，注重梳理方法演进背后的思想

RL 变化日新月异，新方法层出不穷。在有限的篇幅下，为了尽量让你了解到实际应用中最有效的新方法，“进阶篇”精心选择了少数几个当前蓬勃发展的方向进行介绍。

首当其冲的是大语言模型时代风头无两的策略梯度法——PPO 和 GRPO。这里专门使用三个章节介绍 PPO 的基础——策略梯度法、重要性采样和优势函数。当你完成这三节课的学习后，再学习 PPO 和 GRPO 以及 RLHF，就可以很容易理解这些算法看似复杂的形式背后的发展脉络，也会自然明白了为何 GRPO 相对 PPO 做了那样的改变。

此外，进阶篇还覆盖了其他蓬勃发展的方向，如逆向强化学习、离线强化学习等。这些都是在实际业务中落地效果最好的方向。

3. 理论与实践结合，介绍 RL 的主要应用场景，并辅以代码加深理解

作为一门应用学科，只有理论讲解是远远不够的。因此，每节课都提供了配套代码作为简单示例，加深你对原理的理解。

同时，考虑大家需要在实际工作中使用 RL 的需求，“应用篇”介绍了 RL 在多个领域的应用。包括推荐系统、机器人控制、金融交易、资源调度、自然语言处理、计算机视觉等等，同时我们也为对 RL 开发感兴趣的朋友介绍了 OpenAI Gym 和 Ray 这两大平台。

总结来说，这门课程会为你入门强化学习做一个冷启，让你在最短的时间内对 RL 有基本了解，并可以上手做项目，最终助力你的职业发展！

开篇词

• 开篇词｜让我们带你游览强化学习的游乐园

基础篇

• 01｜强化学习概述：从马尔可夫决策过程到智能体与环境交互
• 02｜基于价值的强化学习：从Q-learning到Deep Q-Network
• 03｜基于策略的强化学习：从策略梯度到Actor-Critic
• 04｜模型与规划：从动态规划到蒙特卡洛树搜索