我目前正在自学如何进行分类，具体来说，我正在研究三种方法：支持向量机、神经网络和逻辑回归。我想了解的是为什么逻辑回归会比其他两个表现更好。
根据我对逻辑回归的理解，这个想法是将逻辑函数拟合到整个数据。因此，如果我的数据是二进制的，那么我所有带有标签 0 的数据都应该映射到值 0（或接近它），而我所有带有值 1 的数据都应该映射到值 1（或接近它）。现在，由于逻辑函数是连续且平滑的，因此执行此回归需要我的所有数据来拟合曲线；决策边界附近的数据点没有更大的重要性，并且所有数据点对损失的贡献不同。
然而，对于支持向量机和神经网络，只有靠近决策边界的那些数据点才是重要的；只要数据点保持在决策边界的同一侧，它就会产生相同的损失。
因此，为什么逻辑回归会比支持向量机或神经网络更好，因为它“浪费资源”试图将曲线拟合到许多不重要（易于分类）的数据，而不是只关注决策周围的困难数据边界？
您认为“浪费”的资源实际上是逻辑回归提供的信息增益。你从错误的前提开始。逻辑回归不是分类器。它是一个概率/风险估计器。与 SVM 不同，它允许并期望“近距离通话”。它将导致最佳决策，因为它不会试图欺骗预测信号来合并一个效用函数，该效用函数在您对观察进行分类时是隐含的。使用最大似然估计进行逻辑回归的目标是提供 Prob的最佳估计。结果以多种方式使用，例如提升曲线、信用风险评分等。有关支持概率推理的令人信服的论据，请参阅 Nate Silver 的书Signal and the Noise 。
请注意，逻辑回归中的因变量可以按您想要的任何方式编码：0/1、A/B、是/否等。
逻辑回归的主要假设是是真正的二元，例如它不是从潜在的序数或连续响应变量中设计出来的。与分类方法一样，它适用于真正的全有或全无现象。
一些分析家认为，逻辑回归假设预测变量对对数优势量表的影响呈线性。只有当 1958 年 DR Cox 发明了逻辑模型时，这才是正确的，当时计算无法使用回归样条等工具扩展模型。逻辑回归唯一真正的弱点是您需要指定要在模型中允许哪些交互。对于大多数数据集，这变成了一种优势，因为加性主效应通常比交互作用强得多，并且给予交互作用同等优先级的机器学习方法可能不稳定、难以解释，并且需要比逻辑回归更大的样本量来预测好。
你是对的，逻辑回归作为分类器通常表现不佳（尤其是与其他算法相比时）。然而，这并不意味着应该忘记逻辑回归并且永远不要研究它，因为它有两大优势：
概率结果。Frank Harrell (+1) 在他的回答中很好地解释了这一点。
它使我们能够在控制其他自变量的同时了解自变量对因变量的影响。例如，它提供了条件优势比的估计值和标准误差（当而不是，同时保持的几率大多少倍）。