LMS 算法基于梯度下降的思想来搜索最优（最小误差）条件，代价函数等于滤波器输出的均方误差。但是，它实际上并不直接计算梯度，因为这需要知道：

其中 $\mathbf{x}[n]$ 是输入向量，$e[n]$ 是时刻 $n$ 的滤波器输出误差。这种期望的值通常是事先不知道的，所以它改为（在大多数情况下）由瞬时值 $\mathbf{x}[n]e^*[n]$ 来近似。这（在 Wikipedia 上有更详细的描述）是 LMS 过滤器结构的关键特征。

梯度下降只是指用于寻找最小成本解决方案的方法；它不强制使用任何特定的成本函数。LMS 滤波器是梯度下降的一种特殊形式，它使用均方误差成本函数和上述每个时间步的梯度近似值。

随机梯度下降是指不直接计算梯度的技术，而是使用具有相似随机属性（例如相同的期望值）的梯度的近似值。LMS 将是使用 SGD 方法的算法示例，使用我上面描述的近似值。

我可以补充一点，LMS 算法有一个基于样本的更新。