在神经网络的背景下,什么是粗到精?

数据挖掘 神经网络 深度学习 计算机视觉
2022-02-25 11:18:45

我在许多论文中读到了从粗到精作为深度学习的一种技术,但我永远无法弄清楚它们的确切含义。它与使用粗略和精细输入图像的多尺度推理有关吗?

1个回答

“从粗到细”通常是指神经网络的超参数优化,在此期间您想尝试不同的超参数组合并评估网络的性能。

但是,由于参数数量众多且其取值范围很大,几乎不可能检查所有可用的组合。出于这个原因,您通常将每个参数的可用值范围离散化为一个“粗略”的值网格(即 val = 5,6,7,8,9),以估计增加或减少该参数值的效果。在选择了看起来最有希望/最有意义的值(即 val = 6)后,您围绕它执行“更精细”的搜索(即 val = 5.8、5.9、6.0、6.1、6.2)以进一步优化。