正则化逻辑回归会产生校准结果吗?
机器算法验证
物流
回归策略
校准
正则化
2022-03-27 19:16:40
1个回答
答案完全取决于使用的惩罚量。如果太少,在对独立样本进行评估时,模型将被视为过度拟合。如果惩罚太多,就会发现欠拟合。目标是解决“恰到好处”的惩罚。执行此操作的两种方法是交叉验证(例如,100 次重复 10 倍交叉验证)或计算有效 AIC并求解优化它的惩罚。
校准曲线是 x = 事件的预测概率与 y = 事件的实际概率的图。实际概率是通过在, 在哪里是二元结果的向量。如果校准曲线是线性的,则可以通过其截距和斜率来概括。当斜率大于 1 时存在欠拟合,当斜率小于 1 时存在过拟合(回归均值;低太低,高的太高)。
与上述方法相比,贝叶斯方法具有主要优势,包括:
- 如果您合理地为惩罚参数指定先验分布(通常以倒数表示,即随机效应的方差),则会自动估计惩罚
- 一旦完成,贝叶斯后验分布就完全按照它应该的方式工作,而一旦使用惩罚,频率论方法就不会给我们置信区间或假设检验
其它你可能感兴趣的问题