机器算法验证 - 估计二次函数的最优抽样 - 吾爱随笔录 - 问答

估计二次函数的最优抽样

机器算法验证估计采样实验设计二次型

2022-03-15 10:26:52

假设我有一个二次函数：

f (x) = a^{T} x + x^{T} B x

$f(x) = a^T x + x^TBx$ 和

x \in R^{n}

$x \in \mathbb{R}^n$ . 给定一个点

x

$x$ 我可以测量

f (x)

$f(x)$ 最多一些噪音，也就是说我可以得到一个测量值：

\hat{f} (x) = f (x) + z w i t h z \sim N (0, σ^{2}) .

$\hat{f}(x) = f(x) + z \; \; with \;\; z \sim N(0,\sigma^2).$ 现在给出一个点

x_{0}

$x_0$ 和

n

$n$ 维

S^{n}

$S^n$ 半径球

ϵ

$\epsilon$ 以它为中心（

S^{n} = {x : | | x - x_{0} | | \leq ϵ}

$S^n = \{x: ||x-x_0|| \leq \epsilon \}$ ), 是否有一种最佳的（在某种意义上）选择点的方式

S^{n}

$S^n$ 为了估计参数

a

$a$ 和

B

$B$ ?

到目前为止，我刚刚从 $S^n$ 随机，但也许有一种方法可以利用这一事实 $f(x)$ 是二次的。我也选择了 I 球体，但我可以使用超立方体，重要的是我必须围绕一个点评估函数 $x_0$ （这是给定的）而不是远离它。

1个回答

让 $y_i$ 表示随机变量 $\hat{f}(x_i)$ 和 $Y_n$ 表示 $\{y_i\}_{i \leq n}$ ,

在您必须解决所有问题的情况下 $\{x_i\}_{i \leq n}$ 在你得到任何观察之前 $y_i$ ，我建议您考虑最大化某些最佳设计标准的点。就像 StasK 所说，D 最优性是一个常见的标准。Latin Hypercube Sampling是一种近似这些设计的简单方法，通常在 Matlab 等软件中实现。

如果您的程序是顺序的，即您知道 $Y_i$ 在选择之前 $x_{i+1}$ , 你可能想包括你的先验知识 $f$ . 一个好的标准是信息增益（又名互信息）。

I (y_{i + 1} ∣ Y_{i}) = H (y_{i + 1}) - H (y_{i + 1} ∣ Y_{i})

$I(y_{i+1} \mid Y_i) = H(y_{i+1}) - H(y_{i+1} \mid Y_i)$ 在哪里

H (X)

$H(X)$ 表示变量的微分熵

X

$X$ . 然后你可以选择

x

$x$ 最大化每一步的信息增益，

x_{i + 1} = \underset{x \in S^{n}}{a r g m a x} I (x ∣ Y_{i})

$x_{i+1} = \underset{x \in S^n}{argmax}\ I(x \mid Y_i)$

其它你可能感兴趣的问题

上一篇对于极小的样本量，p 值的显着性是否可靠？下一篇“赌徒损失函数”？