据我了解,一个随机过程,其在特定时刻的值取决于先前采用的值,并且每次运行该过程时,选择的路径都可能不同。我们只能知道在某些初始种子值之后过程停留的限制和限制。
神经网络的权重值通过随机梯度下降法进行更新。它的随机部分是什么?在对变量进行一些初始化后,如果在每次测试中初始化后提供相同的输入数据集,则累积的误差函数将相同。为什么术语随机的相关性?随机性的范围在哪里,这种随机性的来源是什么?
据我了解,一个随机过程,其在特定时刻的值取决于先前采用的值,并且每次运行该过程时,选择的路径都可能不同。我们只能知道在某些初始种子值之后过程停留的限制和限制。
神经网络的权重值通过随机梯度下降法进行更新。它的随机部分是什么?在对变量进行一些初始化后,如果在每次测试中初始化后提供相同的输入数据集,则累积的误差函数将相同。为什么术语随机的相关性?随机性的范围在哪里,这种随机性的来源是什么?
您对随机小批量进行采样,而不是对完整数据集进行采样。这意味着您可以获得关于数据集和权重的损失函数真实梯度的随机近似值。