基于能量的模型是表示许多机器学习算法的统一框架。他们将推理解释为最小化能量函数,将学习解释为最小化损失函数。
能量函数是潜在变量配置和示例中提供的输入配置的函数。推理通常意味着找到低能量配置,或从可能的配置中采样,以便选择给定配置的概率是吉布斯分布。
损失函数是给出许多示例的模型参数的函数。例如,在监督学习问题中,您的损失是目标的总误差。它有时被称为“函数”,因为它是构成模型的(参数化)函数的函数。
主要论文:
Y. LeCun、S. Chopra、R. Hadsell、M. Ranzato 和 FJ Huang,“基于能量的学习教程”,预测结构化数据,麻省理工学院出版社,2006 年。
另见:
LeCun, Y. 和 Huang, FJ (2005)。用于基于能量模型的判别训练的损失函数。在第 10 届人工智能和统计国际研讨会论文集 (AIStats'05)。取自http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf
Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007)。用于无监督学习的统一的基于能量的框架。过程。人工智能与统计会议(AI-Stats)。取自http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07