损失函数的全面概述?

机器算法验证 参考 损失函数
2022-02-01 03:45:41

我试图从全局角度了解机器学习中的一些基本思想,我想知道是否对不同的损失概念(平方、对数、铰链、代理等)进行了综合处理。我正在考虑更全面、更正式地介绍 John Langford 关于损失函数语义的优秀帖子。

4个回答

LeCun 等人的基于能量的学习教程可能会让你在那儿取得好成绩。他们描述了许多损失函数,并讨论了是什么让它们对基于能量的模型“好或坏”。

嗯,有这个那个Cramer 和其他人的两篇论文讨论了在线学习算法背景下的损失。

损失函数由问题给出。它可以是任何东西。例如,您还可以惩罚使用的 CPU 时间和空间。

在强化学习中,损失函数是一个未知的非确定性函数。你不能在不改变问题的情况下重新定义它。

我知道这个问题有点过时了,但这是我目前感兴趣的问题。

关于凸损失函数和分类器一致性主题的一篇非常好的论文是张彤的“ Statistical Behavior and Consistency of Classification Methods Based on Convex Risk Minimization ”。