监督学习与统计决策理论中的损失函数

机器算法验证 机器学习 损失函数 决策理论
2022-04-05 13:49:33

我对统计决策理论与机器学习中损失函数的不同定义感到困惑。

在统计决策理论中,损失函数通常定义为大号(θ,δ(X)), 在哪里θ是真实的未知参数,δ(.)是决策规则,并且X是数据(生成自θ?)。例如,参见统计理论课的讲座。

在机器学习中,损失函数似乎定义为大号(是的,F(X)), 在哪里是的是真正的标签并且F(X)是一些模型。例如,参见统计学习要素第 2.4 章。

我的问题是他们是否在谈论同一件事。好像不一样。例如,如果我要预测未知硬币的下一次抛硬币,那么我可以将抛硬币建模为遵循具有未知参数的伯努利分布θ.

X是一些历史数据。然后似乎统计决策理论的损失函数正在计算我的预测δ(X)针对未知参数θ而在 ML 中,它正在计算相同的预测δ(X)(或者F(X)) 反对真实标签?

我很难调和这两个概念。

1个回答

我想说这更多的是决定形式上的差异,而不是损失。两种情况下的损失函数都是损失(真实的自然状态,你的决定),但根据决策的形式,它的简化方式不同

在点预测设置中(比如很多 ML),决策是标签的潜在值,自然状态有效地简化为标签的真实值,因此损失大号(是的,是的^)可以写成预测的损失是的^当真相是是的.

在参数推理设置中,决策是参数的潜在值,自然状态有效地简化为真实的参数值,因此损失大号(θ,θ^)可以写成估计的损失θ^当真相是θ.

还有更复杂的设置。例如,您的决定可能是一个区间,自然状态可能是一个值,损失可能是区间的长度加上从该值到区间最近点的距离(可能为零)[PDF] . 在这种情况下,潜在决策和潜在自然状态之间没有很好的对应关系,并且损失不会以同样的方式简化为决策中的错误摘要。当然还有许多其他的可能性。