我刚刚开始学习分类并且一直在玩一些线性分类器。我想知道线性分类器是否是确定性的——给定相同的模型参数和训练/测试数据,分类器的n次运行是否应该在测试数据上产生相同的结果?任何帮助将不胜感激,谢谢!
线性分类器(SVM,逻辑回归)是确定性的吗?
机器算法验证
机器学习
物流
分类
支持向量机
确定性的
2022-04-08 03:45:18
2个回答
首先,我不清楚您对“确定性”和“线性分类器”的定义。例如,您是在问模型构建确定性还是模型预测确定性?此外,大多数人会认为 SVM 不是线性模型,但你认为它是线性的。
我试图猜测你从现在开始想问什么。
大多数模型(不一定是“线性的”)在预测阶段是“确定性的”,它们应该是。直观地说,我们希望提供相同的输入,我们希望有相同的输出。
然而,许多模型在我们构建模型的过程中确实存在一些随机性。这意味着
给定相同的数据,使用不同的随机种子,你可以有不同的模型(以随机森林为例)
模型建立后,在预测阶段它是“确定性的”,即输入相同的输入将具有相同的输出。
最后,在您提到的逻辑回归和 SVM 的“线性模型”中,它们在训练过程中没有随机种子。正如其他答案和评论中提到的,原因是逻辑回归的目标函数和 SVN 是凸的,所以我们在构建模型时有唯一的答案/全局最小值。
我认为任何可以证明它达到全局误差最小值(线性/逻辑回归,支持向量机)的算法都应该保持不变,除了可能有几个尾随小数位。不做出这种保证的模型可能会陷入局部最小值,例如神经网络或随机森林,可能会因训练课程而异。
其它你可能感兴趣的问题