这个优化问题的类别是什么?

数据挖掘 优化
2021-10-06 19:27:05

我有以下优化问题:查找w从而最小化以下误差度量:

  • Eu=1Nui=0Nu1wTx(ti+1)F({wTx(tj)j=0,i}),
  • ti being the i-th timestamp and  the L2 norm
  • F是某种形式j=0iαjwTx(tj)j=0iαj=1.

重要的是要注意α是固定的(因为它们来自子系统)。

具有以下约束:w>0w<L. 两个都0L是向量R6,L 作为我设置的正任意限制的向量。

不幸的是,由于那个讨厌的问题,这看起来不像标准的最小二乘问题 w在两个地方都出现的术语(这在某个时期是固定的)。本质上,就像最小二乘,但目标y 是下一个时间戳的系列值。

这是另一类问题吗?不幸的是,我在这方面没有足够的背景,但我读过一些关于递归最小二乘和卡尔曼滤波器的东西——这可以用这个来解决吗?

2个回答

经过对这个问题的一些研究,我意识到我开发的模型是不正确的。这是因为我以错误的方式引入了权重向量。

本质上,在我的第一个模型(这个问题所基于的模型)中,权重向量应用于目标向量和进入模型的输入向量。假设这是正确的......因为模型收敛到目标 => 从长远来看,这将表现为线性变换:F(wx)=wF(x) 将此引入 Eu 我们明白了 w甚至没关系。潜得更深,我意识到这是空间的属性。我正在计算一个L2norm...通过将误差定义为模型向量与目标的距离。无论您如何拉伸,您都以相同的方式转换所有点(目标和模型)<=> 点之间的相对位置不会改变(误差可能更大或更小,但误差之间的顺序关系将是保存)。

解决方案是更新我的模型以使用加权欧几里得距离。这意味着:

Eu=1Nui=0Nu1x(ti+1)FD({x(tj)j=0,i})D

我写过 FD,因为在某些时候,我的模型使用取决于 D 的 Ball Tree 进行查询。我不知道理论上为什么会这样,但我可以说在实验上它是有效的(从某种意义上说,模型输出的东西我期望并且是合理的)。

据我理解的符号,它看起来好像是正常的最小二乘 - 你正在预测状态,基于输出 F应用于先前的状态,限制权重的大小。也许你应该区分你的wT变量;例如使用wT 对于采样的权重和 wT 对于您的估计,即近似函数中的估计, F.

你拥有的事实 αj 在您的示例中,逼近器应该任意线性缩放权重以对抗您应用的任何(线性)约束 w. 在这里我假设αj 是一个标量和可学习的,所以可以动态地与 w.


但是,您是否在下标中犯了错误,走得太远了?的论点是否应该F 不是: wTx(tj)j=0,i (没有: +1)。否则,您似乎实际上是在使用当前状态来预测当前状态,任何好的模型都可以利用它来实现 100% 的准确度。我同意的输出F 例如 y(tj)j=i+1