据我了解,具有逻辑 sigmoid 激活函数的感知器/单层人工神经网络与逻辑回归的模型相同。两种模型都由以下等式给出:
感知器学习算法是在线的和错误驱动的,而逻辑回归的参数可以使用各种批处理算法来学习,包括梯度下降和有限内存 BFGS,或在线算法,如随机梯度下降。逻辑回归和 sigmoid 感知器之间还有其他区别吗?使用随机梯度下降训练的逻辑回归器的结果是否应该与感知器相似?
据我了解,具有逻辑 sigmoid 激活函数的感知器/单层人工神经网络与逻辑回归的模型相同。两种模型都由以下等式给出:
感知器学习算法是在线的和错误驱动的,而逻辑回归的参数可以使用各种批处理算法来学习,包括梯度下降和有限内存 BFGS,或在线算法,如随机梯度下降。逻辑回归和 sigmoid 感知器之间还有其他区别吗?使用随机梯度下降训练的逻辑回归器的结果是否应该与感知器相似?
实际上存在很大的实质性差异,这与您提到的技术差异有关。逻辑回归将伯努利分布的均值函数建模为线性方程(均值等于伯努利事件的概率p)。通过将 logit 链接用作均值 ( p ) 的函数,可以分析得出几率的对数 (log-odds) 并将其用作所谓的广义线性模型的响应。这个 GLM 的参数估计是一个统计过程,它产生模型参数的 p 值和置信区间。除了预测之外,这还允许您在因果推理中解释模型。这是线性感知器无法实现的。
感知器是逻辑回归的逆向工程过程:它不采用 y 的 logit,而是采用wx的逆 logit(逻辑)函数,并且不对模型及其参数估计使用概率假设。在线培训将为您提供完全相同的模型权重/参数估计值,但由于缺少 p 值、置信区间以及潜在的概率模型,您将无法在因果推断中解释它们。
长话短说,逻辑回归是可以执行预测和推理的 GLM,而线性感知器只能实现预测(在这种情况下,它的执行与逻辑回归相同)。两者的区别也是统计建模和机器学习的根本区别。
我相信您缺少的一个区别是逻辑回归返回有原则的分类概率,而感知器则使用硬边界进行分类。
这在关于多项逻辑回归的 Wiki 文章中有所提及。
你已经提到了重要的区别。所以结果应该不会有太大差异。