为什么叫潜在向量?

人工智能 术语 生成对抗网络
2021-11-08 21:34:20

我刚刚了解了GAN,对Latent Vector的命名有点困惑。

  • 首先,在我的理解中,潜变量的定义是一个不能直接测量的随机变量(我们需要对其他变量进行一些计算才能得到它的值)。例如,知识是一个潜在变量。这是正确的吗?

  • 然后,在 GAN 中,一个潜在向量z是一个随机变量,它是生成器网络的输入。我读过一些教程,它只使用一个简单的随机函数生成:

    z = np.random.uniform(-1, 1, size=(batch_size, z_size))
    

那么这两件事有什么关系呢?为什么我们在引用时不使用术语“随机值介于 -1 和 1 之间的向量”z(生成器的输入)在 GAN 中?

2个回答

它被称为潜在变量,因为您无法在训练期间访问它(这意味着操纵它),在正常的前馈神经网络中,您无法操纵隐藏层输出的值。这里的情况也是如此。

该术语最初来自RBM(他们使用术语隐藏变量)。在 RBM 的上下文中对隐藏变量的解释是这些隐藏节点有助于对 2 个输入特征之间的交互进行建模(如果两者一起激活,那么隐藏单元也会激活)。这一原则可以追溯到赫布的规则,即“一起发射的神经元,连在一起”。因此,RBM ​​被用来在空间(通常比原始维度低)中找到模型的表示。这也是Auto Encoder中使用的主体因此,正如您所看到的,我们明确地没有对两个特征之间的交互进行建模,过程是如何发生的对我们来说是“隐藏的”。

所以,潜伏这个词基本上可以归结为以下几个想法:

  • 我们将高维数据映射到低维数据,而事先没有确定如何进行映射。NN 训练自己以获得最佳配置。
  • 我们无法操纵这些低维数据。因此,它“对我们隐藏”。
  • 由于我们不知道每个维度的含义,它对我们来说是“隐藏的”。

Latenthidden的同义词。

为什么它被称为隐藏(或潜在)变量?例如,假设您观察一个人或动物的行为。你只能观察行为。您无法观察此人或动物的内部状态(例如情绪)。情绪是一个隐藏变量,因为它不能直接观察到(只能通过其后果间接观察到)。

高度基于潜在变量概念的统计模型的一个很好的例子是隐马尔可夫模型(HMM)。如果您了解 HMM,您将了解隐藏变量的概念。