在训练深度网络以从 ImageNet 等集合中学习对象分类时，我们最小化地面实况和预测类别之间的交叉熵。这是以监督的方式完成的。我的理解是，您可以使用主成分分析以无监督的方式分离类别，但我从未在深度网络中看到过这种情况。我很好奇在最后一种情况下这是否可以轻松完成。一种可能的方法是最小化有利于分类为 one-hot 向量的损失（但这只能保证图像被分类为单个类别，而不是正确的类别）。这是否已经完成，或者有什么理由不这样做？
是否有允许深度网络以自我监督的方式学习对象分类的方法？
人工智能
深度学习
物体识别
无监督学习
2021-10-28 13:24:23
1个回答
我做了一个实验，拿了一个训练有素的densenet121并保留了底层。我将 FC 层训练为 softmax，然后训练为对向量进行归一化的 lambda 层。我用 imagenet 训练网络，使输出尽可能远离 (1,1,1,1,1...1)，所以我会得到一个热向量。我做到了，但是网络被训练成一个类别（把所有的都放在同一个热向量中）。然后我添加了一个惩罚，鼓励使向量不同，因为它们的特征也不同。它改进了一点，十几个类别而不是一个，但注意到接近一千个可用数量。
我发布了这个，所以没有人会浪费他的时间在一个像这样的愚蠢想法上。
其它你可能感兴趣的问题