原创 ｜ 一文读懂无模型的控制-蒙特卡罗控制（Monte Carlo Control）（强化学习三）

本文由黄娘球撰写，主要介绍了蒙特卡罗控制方法在强化学习中优化策略的应用。文章首先回顾了强化学习的基础概念、无模型的预测与控制，并确定了无模型控制的目标是找到最优策略，使得在每个状态下的价值最大化。然后，文章详述了蒙特卡罗控制作为一种无模型控制方法，通过完整的episode采样来更新策略和价值函数，以逼近最优策略。

文章介绍了广义策略迭代（GPI）的概念，它是通过策略评估和策略改进的交替进行来逐步逼近最优策略的过程。在蒙特卡罗控制框架下，GPI采用无模型预测方法来评估当前策略的价值函数，并通过贪婪地选择最大化价值的动作来改进策略。

具体到蒙特卡罗控制方法，它包括策略评估和策略改进两个步骤。策略评估通过蒙特卡罗方法评估当前策略，而策略改进则采用ε-greedy策略改进。ε-greedy策略在大多数情况下选择最优动作，但以一定概率选择随机动作，以探索更多可能性。文章进一步描述了GLIE（Greedy in the Limit with Infinite Exploration）蒙特卡罗控制算法的步骤，并声明该算法能收敛到最优动作-价值函数。

最后，文章指出未来系列将深入探讨无模型的控制中的TD控制、Sarsa，以及在线学习与离线学习等主题。作者黄娘球是广东财经大学的研究生，同时是数据派THU研究组和AI TIME学术部的志愿者，对AI领域有广泛兴趣。

文末附有关于数据派研究部的介绍，其成立于2017年，包括多个专注于不同方向的组别，如算法模型、调研分析、自然语言处理等。读者可通过文章末尾的链接加入这些组别成为志愿者。