如果神经网络的决策边界太尖锐,这通常被视为不好的事情,这意味着如果输入的微小变化会完全改变类预测。
给定一个训练有素的 CNN,是否可以测量/计算其决策边界的“清晰度”?有人已经这样做了吗?
如果神经网络的决策边界太尖锐,这通常被视为不好的事情,这意味着如果输入的微小变化会完全改变类预测。
给定一个训练有素的 CNN,是否可以测量/计算其决策边界的“清晰度”?有人已经这样做了吗?
您可能喜欢查看有关“对抗性示例”的文献。给定一个实例带有标签,对抗样本是一个(通常是精心构建的)实例这非常相似,但其标签不同于. 研究文献表明,通常可以找到与原始样本非常接近的对抗样本. 你可以使用距离作为决策边界附近锐度的度量; 或者你可以在很多上取平均值得到一个全局的锐度度量。
有很多方法可以找到对抗样本。一个标准的简单方法是梯度符号法,最初在以下论文中进行了描述:
伊恩·J·古德费罗、乔纳森·施伦斯、克里斯蒂安·塞格迪。解释和利用对抗性示例。arXiv:1412.6572,2014。
从那时起,已经有许多改进可以找到更接近的对抗性示例,例如迭代梯度符号 (arxiv:1607.02533)、Deepfool (arxiv:1511.04599) 等。您可能还对 Cleverhans感兴趣,这是一个帮助查找对抗性示例的软件库。