如何检测股票筛选器的过度拟合
数据挖掘
机器学习
数据挖掘
分类
大数据
统计数据
2021-10-09 18:31:03
1个回答
学习曲线或偏差方差分解是检测高方差的黄金标准,也就是过拟合。将您的数据(在您的情况下为“后备数据”)分成 60% 的训练数据和 40% 的测试数据。像往常一样在训练数据上拟合模型,看看它在测试数据上的表现如何。
最后,当您认为您拥有所需的模型时,将每个训练集和测试集拆分为 10-100 个子集,然后使用越来越大的集重新训练和测试。应用您最喜欢的性能指标并绘制性能结果与用于测试和培训的案例数量。
如果模型过拟合(高方差),曲线将永远不会聚集在一起。曲线将聚集在一起,但如果模型欠拟合(高偏差),则性能将低于预期,并且对于未过拟合的良好性能模型,曲线将以可接受的性能聚集在一起。
下面是一个以均方根误差作为性能指标的过拟合和欠拟合示例:
其它你可能感兴趣的问题