我非常了解样本验证。你能解释一下什么是超时验证吗？
背景
我组织中的一个团队为电信公司建立了一个流失模型。流失率为 27%。模型对样本外（测试）数据集的敏感性（模型正确预测的实际流失率的百分比）为 70%，但当他们推出模型并在 6 个月后跟踪结果时，准确率仅为 47%。
注意：到目前为止没有任何活动正在运行，因此我们没有任何活动开始日期或结束日期等。
问题
- 什么是超时验证？
- 如何进行超时验证？
- 我的想法是进行超时验证将有助于在模型推出之前识别模型的问题。这是正确的吗？
谢谢
什么是逻辑回归模型中的超时验证？
机器算法验证
回归
物流
验证
2022-03-08 17:26:50
1个回答
超时验证只是对比您拟合模型的数据集更晚的数据集进行的样本外验证；将模型应用于随时间变化的人口是关注点，而不是应用于不同城市、物种、材料或其他任何东西的人口。因此，要做到这一点，您需要来自不同时间的样本（请注意，如果您在拟合模型时有这些样本，那么使用整个数据集并在模型中包含时间通常会更有用）。在这种特殊情况下，它是否会提醒您注意问题，这是任何人的猜测。
模型的校准通常比它的判别下降得更快（我敢打赌，改变用于预测流失的概率截止值会导致更高的准确性——你是否在监控判别和校准？），所以重新校准一次在一段时间内可能会有所帮助。参见 Steyerberg 等人。(2004)，“预测逻辑回归的验证和更新：样本大小和收缩的研究”，医学统计，23，p.2567。