逻辑回归和神经网络有什么区别?

机器算法验证 物流 神经网络 直觉
2022-02-14 20:13:31

我们如何向没有统计学背景的观众解释逻辑回归和神经网络之间的区别?

4个回答

我假设您正在考虑过去是什么,并且在您关于神经网络的问题中可能仍然被称为“多层感知器”。如果是这样,那么我将根据决策边界的形式作为解释变量的函数来解释整个事情。特别是,对于这些观众,我不会提及链接函数/对数赔率等。只要坚持这样的想法,即根据一些观察来预测事件的概率。

这是一个可能的顺序:

  • 从概念上讲,确保他们知道预测的概率是多少。在一些熟悉的数据的上下文中将其显示为一个变量的函数。解释逻辑回归和神经网络将共享的决策上下文。
  • 从逻辑回归开始。声明它是线性情况,但使用带有两个解释变量的输出概率的热图或等高线图显示结果决策边界的线性。
  • 请注意,两个类可能没有被他们看到的边界很好地分开,并激发了一个更灵活的模型来制作一个更弯曲的边界。如有必要,请显示一些可以通过这种方式很好区分的数据。(这就是为什么你从 2 个变量开始)
  • 请注意,您可以开始使用额外的术语(例如正方形或其他变换)使原始线性模型复杂化,并且可能会显示这些生成的边界。
  • 但是然后丢弃这些,观察到您事先不知道函数形式应该是什么,并且您更愿意从数据中学习它。正如他们对此充满热情一样,请注意这不可能完全笼统,并建议您乐于假设它至少应该是“平滑的”而不是“波涛汹涌的”,否则由数据决定。(断言他们可能已经在考虑平滑的界限,就像他们一生都在说散文一样)。
  • 显示广义加法模型的输出,其中输出概率是原始变量对的联合函数,而不是真正的加法组合 - 这仅用于演示目的。重要的是,称它为更平滑,因为它很好且通用,并且可以直观地描述事物。和之前一样演示图片中的非线性决策边界。
  • 请注意,这个(目前是匿名的)平滑器有一个平滑参数来控制它的实际平滑程度,顺便提及这就像关于将解释变量转换为预测概率的函数的平滑度的先验信念。可能会显示不同平滑度设置对决策边界的影响。
  • 现在以图的形式介绍神经网络。指出第二层只是一个逻辑回归模型,但也指出发生在隐藏单元中的非线性变换。提醒观众,这只是从输入到输出的另一个函数,其决策边界将是非线性的。
  • 请注意,它有很多参数,并且需要限制其中一些参数以形成平滑的决策边界 - 重新引入控制平滑度的数字的概念,作为保持参数联系在一起并远离的相同(从概念上讲)数字极端值。另请注意,它具有的隐藏单元越多,它可以实现的不同类型的功能形式就越多。为了保持直觉,在灵活性方面讨论隐藏单元,在平滑度方面讨论参数约束(尽管这种表征的数学草率)
  • 然后通过声明让他们感到惊讶,因为您仍然不知道函数形式,因此您希望通过添加无限数量的隐藏单元来获得无限灵活。让这个实际的不可能性沉下去一点。然后观察这个极限可以在数学中得到,并问(修辞地)这样的事情会是什么样子。
  • 回答它会再次变得更平滑(一个高斯过程,碰巧;Neal,1996,但这个细节并不重要),就像他们之前看到的那样。请注意,还有一个控制平滑度的量,但没有其他特定参数(已集成,对于那些关心这类事情的人)。
  • 得出的结论是,神经网络是普通平滑器的特定、隐含限制的实现,它们是非线性的,不一定是逻辑回归模型的加法扩展。然后以另一种方式进行,得出逻辑回归等效于神经网络模型或平滑参数设置为“额外额外平滑”即线性的平滑器的结论。

这种方法的优点是您不必真正深入任何数学细节来给出正确的想法。事实上,他们不必了解逻辑回归或神经网络就可以了解异同。

这种方法的缺点是你必须制作很多图片,并且强烈抵制掉入代数来解释事物的诱惑。

更简单的总结:

逻辑回归:最简单的神经网络形式,导致决策边界是一条直线

在此处输入图像描述

神经网络:一个超集,包括逻辑回归和其他可以生成更复杂决策边界的分类器。

在此处输入图像描述

(注意:我指的是“普通”逻辑回归,没有积分内核的帮助)

(参考:Andrew Ng 的 deeplearning.ai 课程,“作为神经网络的逻辑回归”和“具有一个隐藏层的平面数据分类”)

我要从字面上回答这个问题:没有统计学背景的人。而且我不会试图让那个人有统计学背景。例如,假设您必须向公司的首席执行官或类似的人解释差异。

因此:逻辑回归是一种根据其他变量对分类变量进行建模的工具。它为您提供了找出每个“其他”变量的变化如何影响第一个变量中不同结果的几率的方法。输出相当容易解释。

神经网络是一组让计算机尝试以与人类学习事物的方式相似的方式从示例中学习的方法。它可能会产生很好的预测模型,但它们通常比逻辑回归的模型更不透明。

有人告诉我,您可以将神经网络(具有逻辑激活函数)视为 logit 函数的加权平均值,权重本身是估计的。通过选择大量的 logits,您可以拟合任何函数形式。Econometric Sense 博客文章中有一些图形直觉