如何评价有竞争力的好模型的“好坏”?
假设我可以得到好的模型(> 90% 的预测率),例如:
- 线性SVC
- 基于 F 测试的 sklearn.feature_selection.f_regression
- 基于互信息的 sklearn.feature_selection.mutual_info_regression
但是由于这些以不同的方式处理例如特征的独立性/依赖性,特别是例如 LinearSVC 假设“相对独立”的特征,其中相互信息特别衡量变量之间的依赖性,那么
如何将这些模型相互比较?
测试?先验的数据知识?还有什么?