无监督解开真的不可能吗?

人工智能 无监督学习 知识表示 证明 文件
2021-11-08 22:43:40

在 Locatello 等人的Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations 中,他声称证明无监督解缠结是不可能的。

他的全部主张都建立在一个定理(在附录中得到证明)之上,用我自己的话来说:

定理:对于任何分布p(z)其中每个变量zi相互独立,存在无数个变换z^=f(z)ΩzΩz带分布q(z^) 使得所有变量z^i纠缠/相关并且分布相等(q(z^)=p(z))

以下是论文中的确切措辞:

在此处输入图像描述

(我提供两者,因为我的误解可能源于我对定理的看法)

从这里作者解释了从这个到那个的直接跳转,对于任何无监督学习的解纠缠潜在空间,将存在无限多个具有完全相同分布的纠缠潜在空间。

我不明白为什么这意味着它不再解开?仅仅因为存在纠缠表示,并不意味着解开的表示不那么有效。我们仍然可以独立地对变量进行推断,因为它们仍然遵循p(z)=ip(zi),那么不可能从哪里来?

1个回答

不可能是指如何从观察到的分布中学习解开的表示,或者首先知道你是否有解开的表示。

基本上,一个无监督学习代理的任务是学习一些特征的解纠缠变换z需要从未纠缠的数据中推断出一组特征,但提供的数据将始终具有许多同样有效的纠缠解——从描述分布的角度来看是有效的z准确。

一个类比是“我观察到了 50 的值,并且知道它是 3 个数字的总和。这些数字是什么?”。虽然存在正确答案,并且可以猜到,但无法从提供的信息中推断出来。

您引用的证明部分表明存在多个等效的纠缠特征集,并且在知道分布的基础上理论上无法与“真实”的解缠结特征集分开。一旦你接受了这一点,说解开的特征是不可学习的,这确实只是逻辑上的一小步——学习系统无法区分解释分布的纠缠特征和解纠缠特征,以及一个大的(无限) 保证存在一组有效的纠缠特征,这将混淆寻找完美解决方案的尝试。

值得注意的是,不可能性指的是学习完美的解决方案,并且证明不排除有用或实用的近似解决方案,或通过应用一些附加规则或半监督方法来增强无监督学习的解决方案。