正则化逻辑回归会产生校准结果吗?

机器算法验证 物流 回归策略 校准 正则化
2022-03-27 19:16:40

这里已经提出并解决了逻辑回归模型已经校准并且不需要校准它。对我来说,当涉及正则化时,似乎没有遵循提供的论点。有人可以告诉我是否确实是正则化逻辑回归模型未校准的情况?

1个回答

答案完全取决于使用的惩罚量。如果太少,在对独立样本进行评估时,模型将被视为过度拟合。如果惩罚太多,就会发现欠拟合。目标是解决“恰到好处”的惩罚。执行此操作的两种方法是交叉验证(例如,100 次重复 10 倍交叉验证)或计算有效 AIC并求解优化它的惩罚。

校准曲线是 x = 事件的预测概率与 y = 事件的实际概率的图。实际概率是通过在(P^,Y), 在哪里Y是二元结果的向量。如果校准曲线是线性的,则可以通过其截距和斜率来概括。当斜率大于 1 时存在欠拟合,当斜率小于 1 时存在过拟合(回归均值;低P^太低,高的太高)。

与上述方法相比,贝叶斯方法具有主要优势,包括:

  1. 如果您合理地为惩罚参数指定先验分布(通常以倒数表示,即随机效应的方差),则会自动估计惩罚
  2. 一旦完成,贝叶斯后验分布就完全按照它应该的方式工作,而一旦使用惩罚,频率论方法就不会给我们置信区间或假设检验