他们无法访问原始训练或测试数据集。机器学习环境是建立在良性环境的前提下的。这些模型是根据真实数据（真实输入）进行训练的。当有人发送一个虚构的输入（假输入）时，很容易欺骗模型。

这例如用于图像识别。想象一张熊猫的照片。该模型可以正确地将这张照片识别为熊猫。了解模型后，您现在可以更改照片中的一些像素。对人眼来说，照片看起来完全一样，但模型可能会误以为照片实际上是长臂猿。

这一切都是在模型训练之后完成的，不需要原始数据集。

欲了解更多信息，请访问此网站： https ://medium.com/@ml.at.berkeley/tricking-neural-networks-create-your-own-adversarial-examples-a61eb7620fd8

在逆向机器学习中，有人（程序或人）试图用恶意输入来欺骗现有模型。

最好的人类例子是视觉错觉。人脑的图像处理模型在看到视错觉时开始输出错误信息。所以最终我们看到了错误的颜色、形状等。在这种情况下，视错觉将被视为恶意输入。

我们可以通过反复试验创建的图像来欺骗人脑的模型。

因此，如果您手头只有经过训练的模型，您就不必知道已经训练过的数据。您只需要能够向模型输入一个值并获得输出。

如果机器学习模型接受用户输入并使用它对测试数据集重新采样，我们就可以操纵模型的测试数据集。ML 模型的实际训练数据集没有被操纵，但是如果我们通过探索性攻击（向 ML 模型发送大量查询以了解其性质）找出 ML 模型，我们可以生成一个训练数据集，该数据集是内置于原始 ML 模型中。