什么是机器学习中的能量最小化?

机器算法验证 机器学习 优化 计算机视觉
2022-02-16 04:54:57

我正在阅读有关计算机视觉中不适定问题的优化,并在 Wikipedia 上看到了以下有关优化的解释。我不明白的是,为什么他们在计算机视觉中将这种优化称为“能量最小化”?

一个优化问题可以用以下方式表示:

给定:一个函数f:AR从一些集合A到实数

寻求:一个元素x0A这样f(x0)f(x)对全部xA (“最小化”)或这样f(x0)f(x)对全部xA (“最大化”)。

这样的公式称为优化问题或数学规划问题(一个与计算机编程没有直接关系的术语,但仍在使用,例如在线性规划中 - 参见下面的历史)。许多现实世界和理论问题都可以在这个通用框架中建模。在物理和计算机视觉领域使用这种技术制定的问题可以将这种技术称为能量最小化,谈到函数的值f表示被建模系统的能量。

2个回答

基于能量的模型是表示许多机器学习算法的统一框架。他们将推理解释为最小化能量函数,将学习解释为最小化损失函数。

能量函数是潜在变量配置和示例中提供的输入配置的函数。推理通常意味着找到低能量配置,或从可能的配置中采样,以便选择给定配置的概率是吉布斯分布。

损失函数是给出许多示例的模型参数的函数。例如,在监督学习问题中,您的损失是目标的总误差。它有时被称为“函数”,因为它是构成模型的(参数化)函数的函数。

主要论文:

Y. LeCun、S. Chopra、R. Hadsell、M. Ranzato 和 FJ Huang,“基于能量的学习教程”,预测结构化数据,麻省理工学院出版社,2006 年。

另见:

LeCun, Y. 和 Huang, FJ (2005)。用于基于能量模型的判别训练的损失函数。在第 10 届人工智能和统计国际研讨会论文集 (AIStats'05)。取自http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007)。用于无监督学习的统一的基于能量的框架。过程。人工智能与统计会议(AI-Stats)。取自http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

在信号检测文献中,信号的能量xt定义为

E=Σxt2

当从某些特征 x 预测某些响应 y 时,一种非常常见且简单的方法是最小化平方误差的总和

SSE=Σ(yy^)2
在哪里y^是拟合响应。注意到相似之处了吗?上证所是能源。该能量通过拟合参数最小化。