当我们为分类问题训练神经网络模型时，我们通常有一个密集的输出层，其大小等于我们拥有的标签数量。
如果层大小更大，模型仍然可以训练并有输出
我们如何解释这样的输出？有这方面的应用吗？
输出神经元多于标签？
数据挖掘
神经网络
深度学习
分类
多输出
解释
2022-03-03 16:18:02
2个回答
输出层通常与最后一个密集层大小相同，因为我们通过将最后一层与输出应该是什么进行比较来应用损失函数来训练模型。如果你的输出层更大，你的损失函数应该是什么就不那么直观了，但你的输出的解释可能来自你如何定义这个损失。
输出的解释不仅取决于网络的架构，还取决于最后一层的激活函数和训练过程。最重要的是，训练一个神经网络需要你选择一个损失函数，它描述了最后一层的预测与实际情况的差距有多远。如果您可以指定一个合理的损失函数，那么您已经隐式定义了如何解释输出层。
顺便说一句，我想不出一个分类问题，如果输出神经元比标签多（但也许其他人更有创意！）
一种类似的情况是强化学习中常用的优势actor-critic网络。强化学习代理的最终目标是从一组可能的动作中选择一个动作，因此传统上我们可能会尝试一个具有输出的网络。Actorcritic 方法实际上有输出。第一个选择一个动作，“额外的”神经元尝试估计所选动作的值。