拉普拉斯回归的有效方法

机器算法验证 回归 拉普拉斯分布
2022-03-23 13:46:43

我想用数值计算最大似然估计(β,σ)对于线性回归模型:

是的j=Xjβ+εj,

在哪里j=1,,n,βp-维数,和εj根据位置为零和尺度的拉普拉斯分布是独立同分布的σ.

鉴于此分布的可微性问题,我无法获得 MLEβ通过求解得分函数。我需要对一些大的数据集执行此操作p. 有没有一种有效的方法来做到这一点?

1个回答

MLE 最小化

分钟Xβ-是的1

不幸的是,对于这个优化问题,没有任何简单的封闭形式的解决方案。然而,这是一个凸优化问题,有许多可用的方法。

对于相当小的实例(例如n按顺序100,000p不到说1,000),最简单的方法是使用线性规划库例程来解决线性规划问题:

分钟一世=1n一世

受制于

Xβ-是的

是的-Xβ.

对于较大的实例(例如n是数十亿甚至更大),您可以考虑使用随机次梯度下降法。这在使用 hadoop 的“大数据”环境中相对容易实现。