没有任何技术可以完全消除过度拟合的风险。您列出的方法都是拟合线性模型的不同方法。线性模型将具有全局最小值，并且无论您使用哪种梯度下降（除非您使用正则化），该最小值都不应改变，因此您列出的所有方法都会过拟合（或欠拟合）同样。

从线性模型转移到更复杂的模型，比如深度学习，你更有可能看到过度拟合。我有很多卷积神经网络严重过度拟合，即使卷积应该通过共享权重来大大减少过度拟合的机会。总之，无论模型族或优化技术如何，过拟合都没有灵丹妙药。

过度拟合通常是模型数据和结构的结果。您提到的“高级”算法具有特定用途，根据您的目标和数据，可能会或可能不会执行其他方法。这是进一步阅读的来源：http: //papers.nips.cc/paper/1895-overfitting-in-neural-nets-backpropagation-conjugate-gradient-and-early-stopping.pdf