我已经训练了几个我正在试验的模型。一个是逻辑回归，另一个是随机森林。我的数据集中有 1000 个样本中的 10 个（具有 4 个特征），并且我已经试验了有多少样本会产生最佳的样本外测试精度。我已经完成了 10 k-fold 验证，以及超参数的一些网格搜索优化......而且我一直（**）在测试数据上获得大约 82% 的准确度预测。我在 70:30 拆分我的数据集，在 70% 上进行训练，然后在看不见的 30% 上进行测试。这两个模型都给了我大约 82% 的测试数据预测准确率。我认为这是一个很好的结果，因为 k-fold 验证给了我很好的准确性，我没有过拟合或欠拟合。但是，我一定是...
...当我尝试对训练模型后很快捕获的新数据样本进行预测时...我的准确率远未达到 82%。事实上，当我将我的模型预测与实际发生的结果进行比较时，我的成功率不到 40%。
所以我想我的模型不能很好地概括。我可以从这里去哪里？我想首先确认问题到底是什么。82% 的准确率是否具有误导性？我的现场成绩怎么会差这么多？难道这4个功能根本不够好？在这种情况下，我怎样才能获得 82% 的测试准确率？我是否可以对模型进行测试以获得进一步工作的见解？
（**随着新数据实时出现，我经常重新训练模型）