重要的是要理解，尽管神经网络可以泛化到整个输入空间，但通常从中获取训练数据的有意义的输入空间是该空间内的流形。

例如，图像分类器可以获取任何图像，包括白噪声，但它通常在照片上进行训练，这些照片通常具有一些良好的结构和统计特性，例如颜色的平滑度，并且有望在照片上很好地工作，而不是在所有地方。

所以你的问题可以重新表述为：我们可以在给定神经网络和一些部分数据的情况下学习数据流形吗？

如果我们忽略故意制作的小示例（例如输出仅等于特征之一的示例）并考虑现实世界的高维任务，我们会发现流形对小扰动具有很强的抵抗力。在高维空间中，一维的变化并不会显着改变到流形的距离，它仍然非常非常接近。示例：单个像素的变化不太可能影响输出，因此无法预测。空间越大，各个维度的影响就越小。

希望这能回答你的问题。

我想在这里提到一种非常有前途的技术，称为GAN，它基本上是这样做的：它使用一个神经网络进行分类，另一个用于学习数据流形。它的效果非常好，可以说这两个网络实际上是相互补充的，而不是相互衍生的。

在一定程度上可以做到这一点，但我不认为你正在考虑。如果权重已知，则可以找到每个输入对输出的相对重要性。从那里可以预测或估计输入，但我认为这些值不正确。

有关这方面的更多信息，我鼓励您查看这篇论文