我正在使用自动编码器进行特征提取。我坚持如何选择编码器层(潜在层)的良好维数。在训练数据集之后,模型在向量结果中给出了具有一些零值的潜在层(嵌入层)。
例如,嵌入层有 4 个维度,嵌入层中的节点(单元)之一具有值[0.67 0.0 2.13 0.43]。我想他们应该有 4 个不同的零值。
我认为我的问题是我为嵌入层选择了太多维度,这是不必要的,应该使用更小的维度,例如 3 或 2 维。
那么,我的问题是如何为嵌入层选择合适的尺寸?
我正在使用自动编码器进行特征提取。我坚持如何选择编码器层(潜在层)的良好维数。在训练数据集之后,模型在向量结果中给出了具有一些零值的潜在层(嵌入层)。
例如,嵌入层有 4 个维度,嵌入层中的节点(单元)之一具有值[0.67 0.0 2.13 0.43]。我想他们应该有 4 个不同的零值。
我认为我的问题是我为嵌入层选择了太多维度,这是不必要的,应该使用更小的维度,例如 3 或 2 维。
那么,我的问题是如何为嵌入层选择合适的尺寸?
将其视为超参数,并对其进行超参数搜索。这需要有一个很好的模型性能指标。这通常意味着有一个带有标签的验证集。训练仍然可以无人监督。