认为是梯度的估计,在随机最速下降算法的每一步计算。数据集在每一步都模拟,所以如果小算法速度快但不稳定,而如果很大它很慢但很稳定。到目前为止,我刚刚尝试了许多 n 值,但也许有人知道确定 n 的更好方法。
认为是已知的(即我知道梯度的方差如何随样本量变化),我正在考虑:
a) 最小化以下类型的损失函数:
b) 绘制反对尝试在视觉上确定一个好的样本大小 n。
就我而言是模拟所需的时间,例如 0.1 秒。我不认为将不同单元加在一起的函数最小化有多大意义,所以我想知道是否有任何方法可以将 CPU 时间转换为更合理的时间。