机器算法验证 - 对于统一成本函数，我们如何推导出条件模式作为线性回归的解决方案？ - 吾爱随笔录

我知道，如果成本函数分别是最小二乘（）和绝对偏差（），则线性回归的解决方案分别是条件均值和条件中位数。为了看到这一点，一个简单的方法是将成本函数的导数设置为 0，如下所示。 $L^2$ $L^1$

\begin{aligned} \frac{d}{d β} | | y - β | |^{2} & = 0 ⟹ β = \frac{1}{n} \sum_{i} y_{i}, \\ \frac{d}{d β} \sum_{i} | y_{i} - β | & = 0 ⟹ \sum_{i} sgn (y_{i} - β) = 0 ⟹ β = median (y_{i}) . \end{aligned}

$\begin{align*} \frac{\mathrm{d}}{\mathrm{d}\beta} ||y-\beta||^2&=0 \implies \beta = \frac{1}{n}\sum_i y_i,\\ \frac{\mathrm{d}}{\mathrm{d}\beta} \sum_i |y_i-\beta| &= 0 \implies \sum_i \text{sgn}(y_i-\beta) =0 \implies \beta = \text{median}(y_i). \end{align*}$

我已经读到条件模式对统一成本函数起作用，即的和。我重复上面的导数步骤得到： ( 是克罗内克三角洲)。 $C(y, \beta) = 1$ $|y-\beta|>\epsilon$ $\epsilon\to 0$

lim_{ϵ \to 0} \sum_{i} - δ (β - \bar{y_{i} - ϵ}) + δ (β - \bar{y_{i} + ϵ}),

$\lim_{\epsilon \to 0}\sum_i-\delta(\beta - \overline{y_i-\epsilon}) + \delta(\beta - \overline{y_i+\epsilon}),$

δ

$\delta$

我们如何从最后一步进入条件模式？
MAP 估计也与统一成本函数相关联，但 MAP 估计与上述推导之间的精确关系是什么？