在 cs231n 的讲义中,在讨论用数值梯度检查分析梯度时,该段落说:
只检查几个维度。在实践中,梯度可以有数百万个参数。在这些情况下,只有检查梯度的一些维度并假设其他维度是正确的才实用。
注意:需要注意的一个问题是确保对每个单独参数的几个维度进行梯度检查。在某些应用中,人们为了方便将参数组合成一个大参数向量。例如,在这些情况下,偏差只能从整个向量中占用少量参数,因此重要的是不要随机采样,而是要考虑到这一点并检查所有参数是否接收到正确的梯度。
我知道只检查几个尺寸,但小心后的部分是什么意思。我无法理解那个警告。有人可以解释一下吗?