多元线性回归是使用多个预测变量来预测响应变量的结果，如下关系：
我了解学习参数的典型目标是最小二乘，这意味着最小化的平方和。现在我想要其他类型的目标，例如序列的香农熵（或其他自我指定的目标）。我朝这个方向搜索，但没有运气。我想知道是否有任何问题（如果可能的话，还有解决问题的工具）我可以考虑这样做吗？
感谢您的帮助。
自我设计的线性回归学习目标
数据挖掘
回归
线性回归
2022-03-02 16:22:54
1个回答
这个问题似乎很老，它可能对新访客有帮助。
是的，我们可以定义任何目标函数并使用梯度下降来最小化它。为此，目标函数需要具有一些属性，例如
- 它应该是凸函数，否则我们将停留在局部最小值或可能永远找不到最小值
- 它必须在每个点上都是可微的，并且必须具有非零导数。否则梯度下降不会取得进展并卡住
如果成本函数具有这些属性，那么我们可以使用 tensorflow（或其他库）创建图形来计算成本，然后使用 auto-diff 算法计算其梯度，并使用梯度下降来最小化它。
Auto-diff 基本上将成本函数的计算分解为基本的算术计算，如加法、乘法、除法等，并使用链式法则求导数。
其它你可能感兴趣的问题