回归问题——对于梯度下降来说太复杂了

数据挖掘 预测建模 回归 优化 梯度下降
2022-02-26 11:02:05

我尝试将温度值预测为时间和不同参数的函数。温度曲线看起来像一个“斜坡”,每隔一段时间就会出现一些“高斯峰”。

因此,我尝试为以下等式建立回归模型:

T^a,μ,σ,s,c,m,p(t)=a1σ2πe(sin(tsc)μ)22σ2+mt+p

我的目标是建立价值观a,μ,σ,s,c,m,p.

我的第一个意图是使用梯度下降,但我很确定基于 RSS 的成本函数的导数不会是凸的,所以我可能会陷入局部 mimina。

我也想知道是否没有更好的选择来解决这个问题。它尤其涉及不涉及最小化导数的方法。我认为(但不确定)神经网络可以帮助我。

那么,简而言之,您将如何解决以下问题?

[aμσscmp]argmina,μ,σ,s,c,m,p12Ni=1N(a1σ2πe(sin(tisc)μ)22σ2+mt+pTi)2

非常感谢你的帮助。

PS:我正在使用带有 scipy 堆栈的 python 3

1个回答

非凸的损失函数仍然可以通过梯度下降最小化。即使损失函数收敛到局部 mimina,这些也可能是一组有用的参数。

如果您选择不使用梯度下降,scipy 有几种优化函数的方法尽可能多地尝试,看看哪种方法需要最好的参数集。