标题问题的答案是“否”；上下文有点不同。

偏差-方差权衡在以下情况下成立$y=f(X)+\varepsilon$， 和$\varepsilon$具有均值 0 和方差$\sigma^2$; 和$\sigma^2$结果是不可约误差，之所以这样命名，是因为它是预期平方误差的下限。因此，要回答您的最后一个问题，如果数据中没有噪声，则不可约误差可以为零。

神经网络是通用函数逼近器是指实际输出函数本身（许多带有 ReLU 激活器的线性函数），而不是拟合过程。还要注意，普遍性有限制：近似只能在紧凑域上得到保证，并且可以通过在隐藏层中使用足够多的神经元来降低近似误差。

因此，普遍性真正意味着，通过偏差-方差权衡，可以将偏差推到零（或通过使用足够多的神经元，尽可能接近）。当然，这通常会导致严重的过拟合模型。

维基百科 - 偏差方差分解