使用机器学习预测比例

机器算法验证 机器学习 神经网络 软最大 组成数据
2022-04-17 00:30:12

我正在研究一个机器学习问题,我必须预测一组N每个数据点的数字(比例),它们的总和为 1。一个用来说明我的问题的玩具示例是每天预测美国每个州的降雨量占该国总降雨量的百分比 - 在这个例子中N=50(状态数)和n=150y^n=1

我正在考虑设计一个神经网络N输出并在输出中应用 Softmax,然后反向传播 MSE 或 RMSE...我有点不确定收敛保证(潜在的梯度消失)。我也想知道你是否会以另一种方式解决这个问题。

2个回答

你有所谓的. 有很多关于如何建模的文献。查看标签,或搜索该术语。

通常,人们会选择一个参考类别并使用对数比率或类似的方法。我个人知道的一篇关于预测成分数据的论文是Snyder at al。(2017 年,IJF他们使用状态空间方法,而不是 NN,但他们的转换可能对您仍然有用。

回答我过去的自我......一个优雅的解决方案是使用带有“软目标”的交叉熵作为损失。这意味着您的目标不会采用单热编码格式,但它们的总和仍为 1。原始的交叉熵公式公式适用。

具有软目标的交叉熵损失广泛用于知识蒸馏领域:参考