线性模型在非常稀疏的数据上效果最好，例如，它们可以在只有 one-hot 编码的分类变量的数据集上很好地工作。然而，它们往往在密集和相关的数据集上表现不佳。通常大多数数据集将是两者之间的混合。鉴于线性模型只学习数据中的线性关系，它们需要一些特征工程来学习非线性模式。虽然神经网络可以自己学习复杂的模式，但它们需要进行大量线性模型所不具备的微调（选择正确的架构、训练算法……）。查看 Wide 和 Deep 神经网络，它们是一种两全其美的尝试。

SVM 可以更好地处理中等大小的数据，因此当您需要扩展时，它们可能不是最佳解决方案。与线性模型相比，SVM 对其超参数（数据特定）非常敏感。

神经网络的流行来自于它们在非常具体的问题（通常涉及非结构化数据）上的最先进性能，例如图像分类 ( https://en.wikipedia.org/wiki/ImageNet )。有时它会被误导，因为人们倾向于认为将数据扔给复杂的算法会给他们一些洞察力（事实并非如此）。围绕神经网络有一些炒作：对于旧的良好结构化数据，一些特征工程 + 简单模型就可以了。

我的两分钱是研究人员并没有真正过分关注结构化数据的分析：我们知道如何去做并且做得很好。挑战在于利用所有图像、视频、文本来构建强大的模型，这推动了面向神经网络的研究（寻找有效的架构，如何更好地训练它们，......）。近年来机器学习的所有“颠覆性”应用（自动驾驶汽车、人脸识别、聊天机器人、深度伪造）都涉及神经网络，而不是 SVM 或线性模型。

也许最简单的答案是，研究人员会选择深度神经网络而不是线性回归或 SVM，因为深度神经网络在他们的任务上比线性回归和 SVM 实现了更好的性能。否则，研究人员不会使用它们。