在任何数学理论保证下,可以训练多类分类模型并将其用于多标签分类吗?
想象一下以下模型,实际用于(文本)分类的一个机器学习库中:
- 一个多类分类器——一个 softmax 终止的MLP从词嵌入馈送,但也可以是其他任何东西——在多标签数据上进行训练。(即,一些/大多数数据项在训练数据中有多个类别名称)。
- 每个训练项目的损失是在仅考虑单个目标标签的情况下计算的,该标签是在每个时期随机选择的,从应用于训练数据中的项目的标签中(这里是精确的损失函数,请原谅 C++)。这只是标准随机梯度下降的一个受速度启发的小变体……它应该在多个时期内平均化。
- 对于实际使用,最大化整个测试集上的聚合Jaccard 索引的置信度阈值,然后用于过滤作为网络(softmax 归一化)预测输出返回的标签。
- 对于模型所做的每个预测,只有那些置信度大于阈值的标签才会被保留并被视为最终的可操作预测。
这可能感觉像是将多类模型强制转换为多标签解释。是否有任何理论保证或反保证,这对多标签语义有用?或者,您将如何减少多标签问题?