有没有办法测量 CNN 决策边界的“锐度”?

数据挖掘 神经网络
2022-02-14 18:20:58

如果神经网络的决策边界太尖锐,这通常被视为不好的事情,这意味着如果输入的微小变化会完全改变类预测。

给定一个训练有素的 CNN,是否可以测量/计算其决策边界的“清晰度”?有人已经这样做了吗?

1个回答

您可能喜欢查看有关“对抗性示例”的文献。给定一个实例x带有标签y,对抗样本是一个(通常是精心构建的)实例x这非常相似x,但其标签不同于y. 研究文献表明,通常可以找到与原始样本非常接近的对抗样本x. 你可以使用距离d(x,x)作为决策边界附近锐度的度量x; 或者你可以在很多上取平均值x得到一个全局的锐度度量。

有很多方法可以找到对抗样本。一个标准的简单方法是梯度符号法,最初在以下论文中进行了描述:

伊恩·J·古德费罗、乔纳森·施伦斯、克里斯蒂安·塞格迪。解释和利用对抗性示例arXiv:1412.6572,2014

从那时起,已经有许多改进可以找到更接近的对抗性示例,例如迭代梯度符号 (arxiv:1607.02533)、Deepfool (arxiv:1511.04599) 等。您可能还对 Cleverhans感兴趣,这是一个帮助查找对抗性示例的软件库。