机器算法验证 - 在具有多个参数的模型中，应该首先通过交叉验证调整哪个参数？ - 吾爱随笔录

我有一个损失函数，比如

\begin{aligned} L (U, V, P, Q) = & α_{1} (R - U \cdot V^{T})^{2} + α_{2} (D - U \cdot P^{T})^{2} + α_{3} (S - V \cdot Q^{T})^{2} \\ + λ_{1} (∥ U ∥^{2} + ∥ V ∥^{2}) + λ_{2} ∥ P ∥^{2} + λ_{3} ∥ Q ∥^{2} \end{aligned}

$\eqalign{ L(U, V, P, Q) = & \alpha_1 (R - U \cdot V^T )^2 + \alpha_2 (D - U \cdot P^T )^2 + \alpha_3 (S - V \cdot Q^T )^2 \\ &+ \lambda_1 (\parallel U \parallel^2 + \parallel V \parallel^2) + \lambda_2 \parallel P \parallel^2 + \lambda_3 \parallel Q \parallel^2 }$

在哪里 $\alpha_{1,2,3}$ 是权重和 $\lambda_{1,2,3}$ 是正则化参数。

现在我想通过交叉验证找到最好的参数，但是有两个问题：

问题1.我应该先调整权重参数，还是先调整正则化参数？顺序重要吗？

问题 2. 在权重参数中，我应该先调整哪个值，其余的应该修复哪个值？

因为我认为这些参数是相互依赖的，比如说 $\alpha_1$ 和 $\alpha_2$ ，如果我修复 $\alpha_2$ 到某个值（我也不知道应该是哪个值），然后调 $\alpha_1$ ，我怎样才能确保调谐 $\alpha_1$ 是全局最优的吗？