损失函数是测量模型的期望值和实际值之间的距离的函数(损失函数的一个例子是交叉熵)。
能量函数可以定义为我们想要最小化或最大化的函数,它是系统变量的函数。它被称为“能量函数”,因为它经常与物理学中的“能量”概念相关或比较。
这两个表达似乎指的是同一个概念。损失函数和能量函数(尤其是在机器学习和计算机视觉中)之间有什么区别吗?
损失函数是测量模型的期望值和实际值之间的距离的函数(损失函数的一个例子是交叉熵)。
能量函数可以定义为我们想要最小化或最大化的函数,它是系统变量的函数。它被称为“能量函数”,因为它经常与物理学中的“能量”概念相关或比较。
这两个表达似乎指的是同一个概念。损失函数和能量函数(尤其是在机器学习和计算机视觉中)之间有什么区别吗?
是的,我发现 Yann LeCun 的这些引用特别有用:
与心理学的类比: 这意味着能量功能类似于您的直觉/习惯:首先您通过经验训练您的直觉/习惯,外部反馈充当您的直觉/习惯适应的“损失函数”。如果您的直觉训练有素,那么正确的决定将变得最容易,因此需要您的“精神/激活能量”最少。因此,在这种理想情况下的决策主要成为您选择的决策所需的“最小化能量”的问题。
进一步阅读: 可以在此处找到 OpenAI 描述基于能量的学习的博客文章。我找到这些引文的完整文件在这里;这是由学者 Yann LeCun 撰写的关于基于能量的学习的详尽教程,您可能会发现阅读该教程有助于更深入地理解。
PS 按照惯例,能量函数被最小化。我相信这是因为在物理学中:系统自然会寻求低能状态。