数据挖掘 - 使用贝尔曼方程优化运动规划 - 吾爱随笔录

来自蒙大拿州的文章《Kinematics of Contact and Grasp》，如果我有一个球在平面上滚动而没有滑动，运动方程描述如下：

[\begin{matrix} {\dot{u}}_{2} \\ ψ \end{matrix}] = [\begin{matrix} M_{2}^{- 1} R_{ψ} \\ T_{1} + T_{2} R_{ψ} \end{matrix}] M_{1} {\dot{u}}_{1}

$\begin{equation*} \begin{bmatrix} \dot{u}_{2} \\ \psi \end{bmatrix} = \begin{bmatrix} M^{-1}_{2}R_{\psi}\\ T_{1}+T_{2}R_{\psi} \end{bmatrix} M_{1}\dot{u}_{1} \end{equation*}$

${(1)}$ 对于球来说， ${(2)}$ 为平面。 ${\psi}$ 是之间的接触角 ${x}$ 球和平面的坐标轴。 ${K, T, M}$ 是曲率形式，扭转和度量张量在时间 $t$ 相对于球和平面的坐标。

我们有

R_{ψ} = [\begin{matrix} \cos_{ψ} - \sin_{ψ} \\ - \sin_{ψ} - \cos_{ψ} \end{matrix}]

$\begin{equation*} R_{\psi} = \begin{bmatrix} \cos_{\psi} -\sin_{\psi}\\ -\sin_{\psi} -\cos_{\psi} \end{bmatrix} \end{equation*}$

如何使用 Sutton 和 Barto 的贝尔曼方程对球的运动进行离散路径规划？

\begin{aligned} v_{π} (s) = \sum_{a} π (a | s) \sum_{s^{'}} P_{s s^{'}}^{a} (R_{s s^{'}}^{a} + γ v_{π} (s^{'})) \end{aligned}

$\begin{align} v_{\pi}(s) = \sum_a \pi(a|s) \sum_{s'} P_{ss'}^a(R_{ss'}^a + \gamma v_{\pi}(s')) \end{align}$

根据我的理解，代理是一个球，环境是平面，动作是没有滑动的滚动球，实现的目标是从一点到另一点的运动规划。

目标是如何优化运动中点的路径规划。

我不知道如何确定政策 $\pi,$ 以及如何从贝尔曼方程建立一个函数。请留下评论。