假设您想要一个人形机器人用人形手系鞋带，您不会相信这项任务有多么困难。这当然是可能的，但与机器学习的当前状态相比，这项任务非常复杂，因为它是一个物理系统，具有未知变量（例如鞋带的摩擦系数）、物理限制（例如机器人手）和遮挡视觉（例如，手放在鞋带前）来列举一个人面临的几个问题，更不用说机器人很昂贵，但我离题了。

机器人可以执行惊人的预编程序列，但如果你想让机器人能够在任何情况下系鞋带，机器学习是正确的方法。

训练数据应该包括人类在解决这个问题时使用的所有东西：

• 本体感觉（关节在空间中的位置，也就是你的手指在哪里）

  • 触觉，机器人需要相当多的触摸传感器

  • 视觉，虽然实际上不是必需的（因为盲人能够学习完成这项任务），但它可能会加快学习速度

使用强化学习作为框架，需要能够给 RL 代理一个信号，表明它更接近于系好鞋带。这可以通过几种方式完成，目前还不清楚哪种方式最好。

一种方法是使用监督学习和系好鞋带的图片来训练一个单独的模型，以查看弓的当前状态（或缺少弓）并报告它是否看起来像一个紧弓。这种方法需要一个完整的其他网络，但它最终可能是最通用的，尽管 RL 代理可能只是学习如何放置鞋带，所以它看起来像一个紧弓。

虽然对人类来说很简单，但这是一个有趣的问题，思考如何实现它有助于理解如何在其他领域应用 ML。