机器算法验证 - 评估预测分布的质量 - 吾爱随笔录 - 问答

评估预测分布的质量

机器算法验证回归分布错误计分规则

2022-04-06 15:58:53

我有一组数据点其中是自变量，我相信每个都可以建模为从带有参数的指数分布中绘制。 $X_i, y_i$ $x$ $y_i$ $\lambda_i$

如果我使用预测，我如何评估我的预测分布相对于观测值的质量？ $X_i$ $\lambda_i$ $y_i$

编辑：这基本上与如何评估伯努利实验的概率估计器质量相同的问题？但在连续上下文而不是二项式上下文中。在这种情况下使用什么代替交叉熵对我来说并不明显。

2个回答

对此的标准方法是使用指数分布的对数似然。这实际上正是交叉熵的推导方式，它是伯努利分布的对数似然。

在指数分布的情况下，pdf 为：

f (y; λ) = λ e^{- λ y}

$f(y; \lambda) = \lambda e^{-\lambda y}$

所以对数似然是：

L L (λ_{i}; y_{i}) = \log (f (y_{i}; λ_{i})) = \log (λ_{i}) - λ_{i} y_{i}

$LL(\lambda_i; y_i ) = \log(f(y_i; \lambda_i)) = \log(\lambda_i) - \lambda_i y_i$

因此，如果是您的真实值，并且是您的预测，则指数模型将最小化： $y_i$ $\lambda_i$

L L ({λ_{i}}; {y_{i}}) = \sum_{i} \log (λ_{i}) - λ_{i} y_{i}

$LL(\{\lambda_i\}; \{y_i\}) = \sum_i \log(\lambda_i) -\lambda_i y_i$

以这种方式通过最大化对数似然来拟合模型导致了广义线性模型的理论；指数模型是一个特例。

评估预测分布的标准方法是通过评分规则。Matthew Drury 推荐的对数似然就是一个例子，它是对数评分规则。还有其他的。Merkle & Steyvers (2013,决策分析)讨论了不同的评分规则如何结合在一起，以及如何选择一个。

更多信息可以在标签 wiki中找到，我们有一些问题携带计分规则标签。

其它你可能感兴趣的问题

上一篇变分自编码器的输出是可以采样的分布，还是直接采样？下一篇Keras RMSprop 中 Rho 和衰减参数的区别