为了检查页面的访问者是否是人，而不是人工智能，许多网页和应用程序都有一个检查程序，称为 CAPTCHA。这些任务对人来说很简单，但对机器来说却无法解决。
然而，通常一些文本识别挑战是困难的，比如识别不好、重叠数字或判断公共汽车是否在验证码上。
据我了解，到目前为止，对抗性攻击的鲁棒性是一个未解决的问题。此外，对抗性扰动是相当可推广的并且可以转移到各种架构中（根据 https://youtu.be/CIfsB_EYsVI?t=3226）。这种现象不仅与 DNN 有关，而且与更简单的线性模型有关。
从目前的情况来看，从这些对抗样本中制作 CAPTCHA 似乎是个好主意，分类问题对人类来说很简单，不需要多次尝试通过这个测试，但对 AI 来说很难。
在这个领域有一些研究并提出了解决方案，但它们似乎不是很受欢迎。
这种方法是否存在其他问题，或者网站（应用程序）的所有者不想依赖这种方法？
我认为问题在于这种类型的攻击仅适用于用于产生扰动的模型。这些扰动是通过反向传播图像的误差来计算的，比如熊猫，但真正的标签是“飞机”。
换句话说，扰动只不过是指示每个像素需要朝哪个方向改变以使熊猫看起来像该特定模型的飞机的梯度。由于相同的模型在每次训练后将具有不同的权重，因此这种攻击仅适用于用于生成梯度的模型。
以下是在 GAN 中训练生成器时此想法的说明性示例：
虽然我们可以将对抗性攻击从一个模型转移到另一个模型，但这只有在严格的限制下才有可能。为了成功地为目标模型生成扰动，我们首先需要知道用于训练它的数据集。我们还需要了解该模型的架构，包括激活函数和损失函数以及超参数。这是作者仔细研究该主题的作品。
尽管有可能，但在我看来，使用 CAPTCHA 是没有意义的，因为这些攻击在现实世界中可能不起作用。例如，如果我们将此攻击应用于路标以欺骗车辆中的自动驾驶仪，则照明条件和摄像头视角会显着影响分类。
因为这些示例适合特定的 ML 模型，并且如果您使用不同的参数进行训练，它们可能无效。