机器算法验证 - R 包 GBM - 伯努利偏差 - 吾爱随笔录

R 包 GBM - 伯努利偏差

机器算法验证机器学习

2022-04-05 12:02:55

全部，

我正在尝试研究 R 中的 GBM 包。

I. 我想尝试找出偏差、初始值、梯度和终端节点估计值的来源。请看这个片段：

替代文字

首先，我不确定伯努利偏差是从哪里来的。我预计偏差将是-2乘以对数似然

替代文字

，忽略权重变量 w。谁能建议我做错了什么（或遗漏）以得出 GBM 中显示的内容？

二、我也对终端节点估计来自哪里感到困惑？

非常感谢任何帮助！

布赖恩

2个回答

这是一个数学技巧。我们有

\begin{aligned} \log \frac{p_{i}}{1 - p_{i}} = f (x_{i}) \end{aligned}

$\begin{align*} \log\frac{p_i}{1-p_i}=f(x_i) \end{align*}$ 由此我们得到

\begin{aligned} \frac{1}{1 - p_{i}} = 1 + \exp (f (x_{i})) \end{aligned}

$\begin{align*} \frac{1}{1-p_i}=1+\exp(f(x_i)) \end{align*}$

对数似然是

\begin{aligned} \sum_{i = 1}^{n} [y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})] & = \sum_{i = 1}^{n} [y_{i} \log \frac{p_{i}}{1 - p_{i}} + \log (1 - p_{i})] \\ = \sum_{i = 1}^{n} [y_{i} f (x_{i}) - \log \frac{1}{1 - p_{i}}] \\ = \sum_{i = 1}^{n} [y_{i} f (x_{i}) - \log (1 + \exp (f (x_{i})))] \end{aligned}

$\begin{align*} \sum_{i=1}^n\left[y_i\log(p_i)+(1-y_i)\log(1-p_i)\right]&=\sum_{i=1}^n\left[y_i\log\frac{p_i}{1-p_i}+\log(1-p_i)\right]\\ &=\sum_{i=1}^n\left[y_if(x_i)-\log\frac{1}{1-p_i}\right]\\ &=\sum_{i=1}^n\left[y_if(x_i)-\log(1+\exp(f(x_i)))\right]\\ \end{align*}$

只有一些术语被重新排列。我希望我能弄清楚它是如何完成的。

我也在研究GBM包！

mpiktas，我想你忘记了第二个等式左侧的日志？我假设你用 1/(1+exp(-f(x_i))) 代替 p_i，但是在上面的第二行有 log(1/...) = log(1+...)，或者是我错了吗？无论如何，我认为你在第三排做对了......
你能告诉我们选择 p_i = 1/(1+exp(-f(x_i))) 的动机是什么吗？它是从哪里形成的？p_i 应该反映成功的比例，即班级比例，对吧？

谢谢！彼得

其它你可能感兴趣的问题

上一篇如何在 R 中更新 ARIMA 预测？下一篇如何在条形图中增加标签字体的大小