机器算法验证 - 非线性回归的置信区间和 p 值的有效非参数估计 - 吾爱随笔录

我正在估计一个复杂的“隐式”非线性模型的参数。它是“隐含的”，因为我没有明确的公式：它的值是复杂流体动力学代码 (CFD) 的输出。在 NLS 回归之后，我查看了残差，它们看起来一点也不正常。此外，我在估计它们的方差 - 协方差矩阵时遇到了很多问题：可用的方法因错误而失败。 $f(\mathbf{x}, \boldsymbol{\theta})$ $f$ nlstools

我怀疑正态分布参数估计器的假设是无效的：因此我想使用一些非参数方法来估计模型的三个参数的置信区间、值和置信区域。我想到了引导程序，但欢迎使用其他方法，只要它们不依赖于参数估计器的正态性。这会起作用吗： $p$

给定数据集替换采样生成数据集 $D=\{P_i=(\mathbf{x}_i,f_i)\}_{i=1}^N$ $D_1,\dots,D_m$ $D$
对于每个，使用 NLS（非线性最小二乘法）估计模型参数 $D_i$ $\boldsymbol{\theta}^*_i=(\theta^*_{1i},\theta^*_{2i},\theta^*_{3i})$
我现在有了 NLS 参数估计器的经验分布。此分布的样本均值将是我的参数的引导估计；2.5% 和 97.5% 的分位数会给我置信区间。我还可以制作每个参数的散点图矩阵，并了解它们之间的相关性。这是我最喜欢的部分，因为我相信一个参数与其他参数的相关性较弱，而其余参数之间的相关性非常强。

它是否正确？那么我如何计算值 - 非线性回归模型的空值是什么？例如，对于参数，是不是，而其他两个不是？计算这种假设的值？我没有看到与null的联系...... $p-$ $\theta_{3}$ $\theta_{3}=0$ $p-$ $\boldsymbol{\theta}^*_1,\dots,\boldsymbol{\theta}^*_m$

此外，每个 NLS 拟合都需要我相当长的时间（比如说几个小时），因为我需要运行我的流体动力学代码次，其中是的约为 40。引导程序的总 CPU 时间是，这是很多。我需要一个更快的方法。我能做些什么？我想为我的 CFD 代码构建一个元模型（例如，高斯过程模型）并将其用于引导，而不是 CFD。你怎么看？那行得通吗？ $p\times N$ $N$ $D$ $p$ $40\times N \times m$

编辑我不认为 NLS 回归问题是凸的。NLS 被用于查找与数据更吻合的一维 CFD（计算流体动力学）代码的校准参数。如果这有帮助，可以在这里看到残差图。如果需要，我可以添加其他图（QQ 图？）。

我无法保证只有一个参数向量可以最小化 RSS。有人可能想知道为什么要使用 NLS。主要原因是务实：校准代码很慢。一种可以快速计算估计值的工具使得 $\boldsymbol{\theta}$ $\boldsymbol{\theta}^*$ $\text{RSS}(\boldsymbol{\theta}^*)<\text{RSS}(\boldsymbol{\theta}_0)$ ，再加上我估计中不确定性的可靠度量，总比没有好。NLS 速度很快，例如，使用 MCMC 进行贝叶斯推理。但是，由于我必须使用 bootstrap 来获得可靠的不确定性估计，我承认优势有所降低。我仍然认为计算工作量较少，但如果您认为我使用了错误的方法并且我应该做一些完全不同的事情，我愿意接受建议。

编辑 2设置与此处完全相同。我很乐意提供您需要的任何其他详细信息。