强化学习（3）--最优状态价值最优策略

说明本系列文章是我在学习了西湖大学赵世钰老师的《Mathematical Foundations of Reinforcement Learning》一书后的学习笔记在B站上有赵老师的完整课程视频。课程视频链接PDF教材链接本文代码链接一、最优状态价值和最优策略定义如果一个策略在所有状态下的state value都大于等于其他任何策略下的所有state value那么就是最优策略(optimal policy)对应的state value就是最优状态价值(optimal state values)二、贝尔曼最优方程(BOE)根据optimal state values的定义有​​其中是我们需要求解的未知量表示状态s下所有可能的策略集合三、求解BOE3.1、逐元素(state)的找到最大值的思路解方程思路​根据上述方法​3.2、矩阵向量形式BOE显然该等式可以写成的形式可以证明是一个收缩映射因此有唯一不动点即唯一解。可通过迭代法求解唯一解:收缩映射原理帮我们解决了BOE的三个问题BOE总是有解BOE的解总是唯一的总是可以通过上述迭代的方法求解该方法就是值迭代(value iteration)一旦最大值求解出来了我们就可以用贪婪(greedy)的方法确定最优策略。​​这里有几点需要注意optimal state value()是唯一的但是optimal policy() 不一定是唯一的。最优策略可以是确定性的(deterministic)也可以是符合某种分布的随机(stochasitic)但总是有确定性的最优策略存在四、影响最优策略的因素通过BOE的公式可以看出有如下这些因素immediate reward影响是affine的即所有reward同时乘以相同系数或者加上相同值最优策略不变。但是不同的reward做不同的改变是可以改变最优策略的discount rate接近0策略变得注重近期收益接近1策略变得注重长期收益system mode