AI中目标函数的域是否总是等于RDRD还是它的子集?

人工智能 数学 目标函数
2021-11-15 09:24:02

考虑一下Marc Peter Deisenroth 等人在题为“机器学习数学”的教科书“向量微积分”一章中的以下段落。

本章的核心是函数的概念。一个函数f 是将两个量相互关联的量。在本书中,这些量通常是输入xRD和目标(函数值)f(x),如果没有另外说明,我们假设它是实值的。这里RD是域f, 和函数值f(x)是图像/共域f.

我们可以注意到教科书正在RD作为目标函数的域。我想知道它在一般情况下是否有效。

我们通常在人工智能中使用的目标函数是否有RD作为域?

我猜这不会是因为损失函数通常是在数据集上定义的,这些数据集也可以具有离散属性,因此目标函数不能在每个点上定义RD. 所以,我猜引用段落中粗体陈述的正确形式是“这里的域f应该是RD“如果我们打算处理一般情况。我是否正确或是否有任何安排,例如定义f在未定义函数的情况下为零?

1个回答

我觉得RD在实际情况下是最自然的选择,因为可以这样描述多种数据:

  • 图像是二维数组H×W每个像素取值Rc(说,c=3) 或连续子集Rc=[1,1]
  • 在序列建模问题中,人们为某些标记中的每个标记提供一个嵌入向量Rk. 没有理由先验地对嵌入向量施加约束(可能有人想剪裁这些向量的范数)

然而,对于物理学或任何其他领域的应用,凭借任务中的任意输入RD可能没有意义,并且可以限制仅考虑某个流形上的函数M(领域Sd,双曲空间)

量子机器学习的应用中,输入是希尔伯特空间中的一个向量——退出系统,无论如何。您可能有兴趣查阅此评论