机器算法验证 - 逻辑回归输出和概率 - 吾爱随笔录

机器算法验证可能性物流

2022-03-20 04:07:48

对作为逻辑回归函数输出的数字的解释是什么？

逻辑函数

f (\vec{x}) = \frac{1}{1 + e^{- g (\vec{x})}}

$f(\vec{x}) = \frac{1}{1+e^{-g(\vec{x})}}$

（在哪里 $g$ 是一个线性函数）应该将一个连续变量（或更一般地说是一堆完全有序的变量）映射到 0 和 1 之间。

我一直认为这是包含在一组或另一组中的概率。范围是 $[0,1]$ （嗯，也许不是 0 和 1），这就是概率。坦率地说，介于 0 和 1 之间的任何东西，除了概率之外还能是什么。

但看着曲线，我开始怀疑。我想知道是否必须将其解释为概率。这看起来像是一个概率，但真的是这样吗？仅仅因为它们共享相同的范围并不意味着它们是相同的。如果 $f(\vec{x}) = .75$ , 这真的意味着 $75\%$ 的 $f$ 小于 $f(\vec{x})$ ?

这可能有两个方向：

另一种说法是这有什么特别之处 $1/(1+e^{-g(x)})$ ? 为什么不是任何单调递增的奇数（大约 $y=1/2$ ) 具有相同范围的函数，例如

f (x) = \frac{\tan^{- 1} (g (x)) + π / 2}{π}

$f(x) = \frac{\tan^{-1}(g(x))+\pi/2}{\pi}$ 或者

f (x) = e r f (g (x)) = \frac{2}{\sqrt{π}} \int_{- \infty}^{x} e^{- t^{2}} d t

$f(x) = {\rm erf}(g(x)) = \frac{2}{\sqrt{\pi}} \int_{-\infty}^x e^{-t^2} \ {\rm d}t$ （非常接近但不等于逻辑函数）

或者坦率地说

f (x) = \begin{array}{ll} 0, & i f g (x) < 0 \\ 1, & i f g (x) >= 0 \end{array}

$f(x) = \begin{array}{ll} 0,& {\rm if\ } g(x) < 0\\ 1,& {\rm if\ } g(x) >= 0 \end{array}$ ?

1个回答

对作为逻辑回归函数输出的数字的解释是什么？

近几十年来所理解的逻辑回归被明确用作伯努利或二项式数据的模型（扩展到其他情况，例如多项式），其中模型如果用于参数， $p$ ，这确实是一个概率。

然而，逻辑回归起源于对比例随时间的增长进行建模[1]（可能是连续的），因此在起源上它与拟合逻辑增长曲线的非线性模型密切相关

坦率地说，介于 0 和 1 之间的任何东西，除了概率之外还能是什么。

嗯，介于 0 和 1 之间的东西可能是一个连续分数的模型，例如物质 A 在混合中的比例。逻辑回归可以建模这样的事情吗？均值模型有意义，但方差模型不一定有意义；在逻辑回归中，方差函数的形式为 $\mu(1-\mu)$ . 这与伯努利的方差直接相关。

但是（例如）人们可以考虑近似像 beta 之类的东西（它的方差函数与 $\mu(1-\mu)$ ) 由准二项式模型；那么我们不一定要对概率进行建模，但我们仍然可以使用逻辑回归来做到这一点。

因此，虽然它几乎总是被认为是概率模型，但不一定非得如此。

假设它是一个概率，或者更准确地说是域中某个点的“真”、“1”或“正”分类的概率。这如何合理？

我不明白这里的问题。如果它是明确的模型 $p$ 在伯努利，你寻求什么样的额外理由？当然链接函数可能是错误的（虽然这不是很大的困难 - 因为可以使用其他链接 - 我们将不再进行逻辑回归）。

[1]：Cramer, JS (2002)，
“逻辑回归的起源”，
Tinbergen 研究所，12 月
http://papers.tinbergen.nl/02119.pdf

其它你可能感兴趣的问题