机器算法验证 - 多类的逻辑回归 - 吾爱随笔录

机器算法验证物流多项分布

2022-03-02 15:40:36

我得到了多类的逻辑回归模型，它由下式给出

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

其中 k 是类数 theta 是要估计的参数 j 是第 j 个类 Xi 是训练数据

那么我没有得到的一件事是分母部分是如何规范化模型的。我的意思是它使概率保持在 0 和 1 之间。

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

我的意思是我习惯了逻辑回归

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

实际上，我对规范化的事情感到困惑。在这种情况下，因为它是一个 sigmoid 函数，它永远不会让值小于 0 或大于 1。但我在多类情况下感到困惑。为什么会这样？

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

2个回答

你的公式是错误的（总和的上限）。在具有个类 ( ) 的逻辑回归中，您基本上创建二元逻辑回归模型，您可以在其中选择一个类作为参考或枢轴。通常，选择最后一个类作为参考。因此，参考类的概率可以通过概率的一般形式是由于第类是您的参考因此 $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ 最后你得到所有的以下公式：

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

我认为你被一个错字弄糊涂了：你的在第一个等式中应该是您在逻辑案例中看到的 1 实际上是，例如，当有 th时。 $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

假设。现在请注意，您可以从最后一个公式得到逻辑回归版本，如对于多个类，只需将前两个量中的分母替换为指数线性预测变量的总和即可。 $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

其它你可能感兴趣的问题