最近,我总是听到有关 sim2sim、sim2real 和 real2real 的术语。有人会解释这些术语的含义/动机(在 DL/RL 研究社区中)吗?
这个研究领域的挑战是什么?
任何直观的东西都将不胜感激!
最近,我总是听到有关 sim2sim、sim2real 和 real2real 的术语。有人会解释这些术语的含义/动机(在 DL/RL 研究社区中)吗?
这个研究领域的挑战是什么?
任何直观的东西都将不胜感激!
缩写sim2sim、sim2real和real2real指的是可用于将知识从一种环境(例如在模拟中)转移到另一种环境(例如在现实世界中)的技术。
在 sim2sim 中,一个模拟过程中获得的知识被转移到另一个模拟中的代理(或机器人)。同样,在 sim2real 中,在模拟过程中获得的知识用于现实世界的问题(或环境)。最后,在 real2real 中,在现实世界问题中获得的知识可以转移到另一个现实世界问题中的另一个代理。
主要挑战与一种环境与另一种环境之间存在的差异有关(无论是在模拟中还是在现实世界中)。例如,在sim2real中,模拟几乎从来都不是真实世界环境的完美模型,因此在模拟中训练的代理可能不会在真实世界环境中表现最佳,这通常比模拟复杂得多环境。但是,通常情况下需要在模拟中训练机器人,因为在现实环境中训练的机器人会发生碰撞。