无限期强化学习中的策略评估方法解析
1. 引言
在无限期强化学习中，策略评估是一个关键环节。一些极端乐观的方案，如 SARSA（State - Action - Reward - State - Action），在实际中得到了应用。然而，当使用 Q 因子近似时，其行为复杂，理论收敛性质不明确，且缺乏相关性能边界。同时，基于模拟的 Q 因子策略迭代（PI）方法中，当前策略 μ 近似评估步骤的探索问题至关重要，需确保在模拟中足够频繁地生成非 (i, μ(i)) 的状态 - 控制对。
2. 额外方法：时间差分法概述
时间差分法是解决无限期问题值空间近似的一类重要方法。主要关注基于模拟的线性参数架构下的策略评估，旨在解决类似于之前讨论的偏差 - 方差权衡问题。
3. 基于投影的近似策略评估
- 贝尔曼方程求解目标：在策略评估中，核心是近似求解给定策略 μ 对应的贝尔曼方程。对于折扣问题，需求解线性方程组：
[J_{\mu}(i)=\sum_{i = 1}^{n}p_{ij}(\mu(i))[g(i,\mu(i),j)+\alpha J_{\mu}(j)],\quad i = 1,\ldots,n]
简记为 (J_{\mu}=T_{\mu}J_{\mu})，其中 (T_{\mu}) 是策略 μ 的动态规划（DP）算子：
[(T_{\mu}J)(i)=\sum_{i = 1}^{n}p_{ij}(\mu(i))[g(i,\mu(i),j)+\alpha J(j)],\quad i = 1,\ldots,n] - 参数近似求解 <
