数据挖掘 - Spark 中的 ALS：它最小化了什么损失函数？ - 吾爱随笔录

我玩过 Spark 的 ALS 下的 MovieLens 评级数据集和 ALS 的手动实现，并将结果与相同的超参数进行比较。我想确切地知道这一点，以便进行一些可重复的实验。我看过几篇论文以不同的方式描述了 ALS 的确切损失公式。这些似乎很常见：

1) m i n \sum (r_{u i} - μ - b_{u} - b_{i} - p_{u}^{T} q_{i})^{2} + λ (‖ p_{u} ‖^{2} + (‖ q_{i} ‖^{2} + b_{u}^{2} + b_{i}^{2})

$1)\: min \sum (r_{ui} - \mu – b_u – b_i – p_u^Tq_i)^2 + \lambda (\lVert \mathbf{p_u} \rVert^2 + (\lVert \mathbf{q_i} \rVert^2 + b_u^2 + b_i^2)$ （评分以减去总体偏差为中心

μ

$\mu$ ，并且对于每个用户，一个偏差

b_{u}

$b_u$ 这是模型的一部分，也是正则化的一部分，以及每部电影的类似偏差

b_{i}

$b_i$ )

2) m i n \sum (r_{u j} - u_{i}^{T} m_{j})^{2} + λ (n_{u_{i}} ‖ u_{i} ‖^{2} + n_{m_{j}} ‖ m_{j} ‖^{2})

$2)\: min \sum (r_{uj} – u_i^Tm_j)^2 + \lambda (n_{u_{i}} \lVert \mathbf{ u_i } \rVert^2 + n_{m_{j}} \lVert \mathbf{m_j} \rVert^2)$

（每个用户特征和电影特征向量的惩罚乘以每个用户/电影的评分数，评分可能事先居中，但偏差不是模型参数）。

而且我还看到了向量的 l2 范数不是平方的其他变体。

我玩过这些公式的不同变体，并将相同数据的结果与 Spark 的实现和我的手动实现进行比较，但我找不到任何可以在两种实现中产生相同超参数的变体（潜在因素的数量和值的 lambda) 使用相同的数据给出相似的结果（例如，在某些公式下，具有相同数量的潜在因子并使用相同的 lambda 值，在 Spark 中给出了良好的交叉验证结果，在我的实现中导致过度拟合或使所有的预测都接近于零，但完全不同的 lambda 值给出了可比较的结果）。

Spark 使用什么公式？另外，初始矩阵是如何初始化的？我已经看到一些建议说让电影因子矩阵的第一列是电影的平均评分，其余的随机正态数，而其他人建议随机统一数具有相当大的符号。第一个电影因子矩阵是如何初始化的？