据我了解，贝叶斯优化方法对这个问题已经有些鲁棒了。评估的性能函数通常（？）被认为是嘈杂的，因此搜索会想要检查附近的“最佳解决方案”$h$提高确定性；如果它随后发现许多性能不佳的模型，它的代理功能应该开始淡化这一点。（参见例如这 两篇博文。）

如果由于随机效应（例如，您提到的权重的初始化）导致不稳定性很大，那么只需重复模型拟合并取平均（或最差，或某个百分位数）的性能应该可以很好地工作。如果真的是“邻里”的效果$h$ 值，那么您可以类似地拟合所选模型附近的模型 $h$并考虑他们的总体表现。当然，这两者都会增加相当多的计算开销；但我认为这可能是最接近不依赖于优化算法内部的“正确”解决方案。

一种选择不是在训练数据的损失函数上测量超参数的性能，而是在验证数据的高程度量上测量超参数的性能。大多数机器学习系统的最终目标是能够预测看不见的数据。专注于通过训练损失函数衡量的“最佳解决方案”将导致过度拟合/非鲁棒解决方案。