什么是深度监督?

数据挖掘 深度学习 语义分割
2022-02-15 14:28:48

我对用于医学成像的分割模型感兴趣。当我查看最先进的技术时,我发现了一篇关于新架构Unet++的论文:

UNet++:用于医学图像分割的嵌套 U-Net 架构,来自亚利桑那州立大学的 Zongwei Zhou、Md Mahfuzur Ra​​hman Siddiquee、Nima Tajbakhsh 和 Jianming Liang

Unet一样,它具有带跳跃连接的编码器/解码器架构(将编码器的细粒度特征图添加到解码器)。但是,在Unet++中,跳过连接是嵌套的且密集的,因此模型可以提高其捕获细粒度细节的能力。

与Unet的第二个区别是使用深度监督。论文称,深度监督能够:

“该模型以两种模式运行:1) 精确模式,其中所有分割分支的输出被平均;2) 快速模式,其中最终分割图仅从一个分割分支中选择,其选择决定了分割的范围模型剪枝和速度增益"

我不明白深度监督的工作原理以及Unet++的好处是什么。

你能解释一下它是如何工作的吗?预先感谢您的帮助。

2个回答

部分答案:引用论文

“这种深度监督的优势是显而易见的:(1)对于小训练数据和相对较浅的网络,深度监督作为分类准确性和学习特征的强“正则化”;(2)对于大训练数据和更深的网络深度监督通过改善其他有问题的收敛行为,可以方便地利用极深网络可以带来的显着性能提升”

深度监督的想法是在网络的每个隐藏层添加所谓的伴随目标函数,然后将最终损失计算为输出损失加上伴随损失的总和。这篇论文中介绍了这个想法:

@inproceedings{lee2015deeply,
  title={Deeply-supervised nets},
  author={Lee, Chen-Yu and Xie, Saining and Gallagher, Patrick and Zhang, Zhengyou and Tu, Zhuowen},
  booktitle={Artificial intelligence and statistics},
  pages={562--570},
  year={2015},
  organization={PMLR}
}