如果您计划在训练数据上调整网络（例如，为学习率选择一个值）并确定同一数据集上的错误泛化，您需要使用嵌套交叉验证，在每个折叠中，您都在调整数据集的 9/10 上的模型（使用 10 倍 cv）。看到这篇文章，我问了一个类似的问题并得到了很好的答案（帖子）。

我不确定是否有一个 R 函数来完成此任务 - 也许可以通过在调用中传递 tune 函数来使用ipred包 - 不确定。不过，简单地编写一个循环来完成整个过程是相当微不足道的。

至于要检查的指标，这取决于您的问题（分类与回归）以及您是否对准确性（分类率或 kappa）或模型排名（例如提升）或回归的 MAE 或 RMSE 感兴趣。

在 R 中实现 k-fold CV（有或没有嵌套）相对简单；分层抽样（关于班级成员或受试者的特征，例如年龄或性别）并不难。

关于评估一个分类器性能的方式，你可以直接看tune()函数的R代码。（只需tune在 R 提示符下键入。）对于分类问题，这是计算的类一致性（预测和观察到的类成员之间）。

但是，如果您正在寻找一个完整的 R 框架，其中在几个命令中提供了数据预处理（特征消除、缩放等）、训练/测试重采样和分类器准确性的比较测量，我绝对建议您查看caret包，其中还包含许多有用的小插曲（另请参阅JSS 论文）。

值得注意的是，尽管 NN 是可从内部调用的方法的一部分，但caret您可能需要查看其他性能和大多数情况下比 NN 更好的方法（例如，随机森林、SVM 等）