我想用数值计算最大似然估计对于线性回归模型:
在哪里,是-维数,和根据位置为零和尺度的拉普拉斯分布是独立同分布的.
鉴于此分布的可微性问题,我无法获得 MLE通过求解得分函数。我需要对一些大的数据集执行此操作. 有没有一种有效的方法来做到这一点?
我想用数值计算最大似然估计对于线性回归模型:
在哪里,是-维数,和根据位置为零和尺度的拉普拉斯分布是独立同分布的.
鉴于此分布的可微性问题,我无法获得 MLE通过求解得分函数。我需要对一些大的数据集执行此操作. 有没有一种有效的方法来做到这一点?
MLE 最小化
不幸的是,对于这个优化问题,没有任何简单的封闭形式的解决方案。然而,这是一个凸优化问题,有许多可用的方法。
对于相当小的实例(例如按顺序和不到说),最简单的方法是使用线性规划库例程来解决线性规划问题:
受制于
.
对于较大的实例(例如是数十亿甚至更大),您可以考虑使用随机次梯度下降法。这在使用 hadoop 的“大数据”环境中相对容易实现。