假设和并且和,那么我怎样才能找到向量使得 的最小化约束 (因此)使用投影梯度下降?
的约束下应用投影梯度下降?
我可以找到成本函数本身的梯度,但是鉴于“更新”的值,我需要通过将它投影到,这就是我想要的,是将更新后的 p 值投射到可行空间中,但我不确定我该如何去做那部分。
假设和并且和,那么我怎样才能找到向量使得 的最小化约束 (因此)使用投影梯度下降?
的约束下应用投影梯度下降?
我可以找到成本函数本身的梯度,但是鉴于“更新”的值,我需要通过将它投影到,这就是我想要的,是将更新后的 p 值投射到可行空间中,但我不确定我该如何去做那部分。
球的投影没有封闭形式的表达式;它也不是一个组件操作。原则上,对于上的投影由 其中是软阈值(或软收缩)算子,对于是由 和
所以你想解决
您可以使用以下论文中的算法将梯度更新投影到 l1 范数球: https ://stanford.edu/~jduchi/projects/DuchiShSiCh08.pdf