我们可以使用递归最小二乘法作为 ADALINE 的学习算法吗?

人工智能 学习算法 线性回归
2021-10-22 08:16:02

我是神经网络的新手,我学习电气工程,刚刚开始使用ADALINEs

我使用 Matlab,并在他们的文档中引用:

但是,这里使用了比感知器学习规则强大得多的LMS(最小均方)学习规则。LMS 或 Widrow-Hoff 学习规则最小化均方误差,从而将决策边界尽可能远离训练模式。

LMS 算法是 Matlab 中线性神经网络的默认学习规则,但几天后,我遇到了另一种算法:Recursive Least Squares (RLS) in a 2017 Research Article by Sachin DevassyBhim Singh在期刊:IET可再生能源发电,标题为:比例谐振和基于 ADALINE 的太阳能光伏集成统一有源电力滤波器的性能分析,其中他们指出:

基于 ADALINE 的方法是一种提取负载有功电流基波分量的有效方法,因为不需要额外的变换和逆变换。各种自适应算法包括最小均方递归 最小二乘等。

我的问题是:

  • RLS 和 LMS 一样吗(我的意思是它也可以用作学习算法)?
  • 如果是,我如何自定义我的 ADALINE 以使用 RLS 而不是 LMS 作为学习算法(最好在 Matlab 中,如果不是在 Python 中),因为我想对这两种算法进行比较研究!
1个回答

RLS 是二阶优化器,因此,与考虑梯度导数近似的 LMS 不同,RLS 还考虑二阶导数。您可以在以下在线书籍的“8.6 近似二阶方法”小节中了解有关二阶方法的更多信息:

https://www.deeplearningbook.org/contents/optimization.html

深度学习 麻省理工学院出版社出版的 Ian Goodfellow 和 Yoshua Bengio 和 Aaron Courville