我有以下优化问题:查找从而最小化以下误差度量:
- ,
- 是某种形式和.
重要的是要注意是固定的(因为它们来自子系统)。
具有以下约束:和. 两个都和是向量, 作为我设置的正任意限制的向量。
不幸的是,由于那个讨厌的问题,这看起来不像标准的最小二乘问题 在两个地方都出现的术语(这在某个时期是固定的)。本质上,就像最小二乘,但目标 是下一个时间戳的系列值。
这是另一类问题吗?不幸的是,我在这方面没有足够的背景,但我读过一些关于递归最小二乘和卡尔曼滤波器的东西——这可以用这个来解决吗?
我有以下优化问题:查找从而最小化以下误差度量:
重要的是要注意是固定的(因为它们来自子系统)。
具有以下约束:和. 两个都和是向量, 作为我设置的正任意限制的向量。
不幸的是,由于那个讨厌的问题,这看起来不像标准的最小二乘问题 在两个地方都出现的术语(这在某个时期是固定的)。本质上,就像最小二乘,但目标 是下一个时间戳的系列值。
这是另一类问题吗?不幸的是,我在这方面没有足够的背景,但我读过一些关于递归最小二乘和卡尔曼滤波器的东西——这可以用这个来解决吗?
经过对这个问题的一些研究,我意识到我开发的模型是不正确的。这是因为我以错误的方式引入了权重向量。
本质上,在我的第一个模型(这个问题所基于的模型)中,权重向量应用于目标向量和进入模型的输入向量。假设这是正确的......因为模型收敛到目标 => 从长远来看,这将表现为线性变换: 将此引入 我们明白了 甚至没关系。潜得更深,我意识到这是空间的属性。我正在计算一个norm...通过将误差定义为模型向量与目标的距离。无论您如何拉伸,您都以相同的方式转换所有点(目标和模型)<=> 点之间的相对位置不会改变(误差可能更大或更小,但误差之间的顺序关系将是保存)。
解决方案是更新我的模型以使用加权欧几里得距离。这意味着:
我写过 ,因为在某些时候,我的模型使用取决于 D 的 Ball Tree 进行查询。我不知道理论上为什么会这样,但我可以说在实验上它是有效的(从某种意义上说,模型输出的东西我期望并且是合理的)。
据我理解的符号,它看起来好像是正常的最小二乘 - 你正在预测状态,基于输出 应用于先前的状态,限制权重的大小。也许你应该区分你的变量;例如使用 对于采样的权重和 对于您的估计,即近似函数中的估计, .
你拥有的事实 在您的示例中,逼近器应该任意线性缩放权重以对抗您应用的任何(线性)约束 . 在这里我假设 是一个标量和可学习的,所以可以动态地与 .
但是,您是否在下标中犯了错误,走得太远了?的论点是否应该 不是: (没有: )。否则,您似乎实际上是在使用当前状态来预测当前状态,任何好的模型都可以利用它来实现 100% 的准确度。我同意的输出 例如