为什么 VAE 不能进行序列到序列名称生成?

人工智能 变分自动编码器
2021-10-24 14:37:20

我正在从事该领域的研究,我的主管希望使用 VAE 对名称数据进行规范化,但我认为这不可能,但我不知道如何明确地在数学上显示它。我只是凭经验知道 VAE 在潜在变量和观察变量的离散分布上表现不佳(因为为了命名,您需要潜在变量是每个索引处的字符,它可以是任何 ASCII 字符,只能表示作为分布)。所以我使用的设置是一个带有 3 个自动编码器的 VAE,用于潜在的,一个用于名字、中间名和姓氏,所有这些都从 gumbel-softmax 分布中采样各自名称的每个字符(A 形成一个可区分的分类其中参数是分类分布)。从我的 在关于 MNIST 数字图像生成的简单问题的原始论文中已经看到,随着潜在维度的增加,推理和生成网络都变得更糟,并且您可以想象我的问题的潜在维度非常大。这是我认为为什么这行不通的唯一真正论据。另一个是它在离散分布上,但我通过使用 gumbel softmax dist 解决了这个问题。

当前的设置根本不起作用,名称生成完全是胡言乱语,而且很早就达到了平稳状态。是否有任何数学直觉或原因表明 VAE 无法解决此类问题?

作为说明,我还尝试了半监督 VAE,但并没有做得更好。我什至尝试了 seq2seq 的名字,但它也超级失败了,我说的甚至不接近名字的生成或原始输入。

0个回答
没有发现任何回复~