的标记排列不变的派生变量。$x_i$

例如，在您的三变量示例中，仅考虑总阶数不超过 3 的多项式，这样的组合将是：

• $w_1 = x_1 + x_2 + x_3$
• $w_2 = x_1x_2 + x_1x_3 + x_2x_3$
• $w_3 = x_1^2 + x_2^2 + x_3^2$
• $w_4 = x_1x_2x_3$
• $w_5 = x_1^2x_2 + x_1^2x_3 + x_2^2x_1 + x_2^2x_3 + x_3^2x_1 + x_3^2x_2$
• $w_6 = x_1^3 + x_2^3 + x_3^3$

然后，您可以使用任何形式的回归，包括一些函数并通过非线性最小二乘法、广义线性建模或其他方法找到组合的排列中是对称的。$f(a_1w_1 + a_2w_2 + \cdots + a_8w_8)$$a_i$$a_1w_1 + a_2w_2 + \cdots + a_8w_8$$x_1, x_2, x_3$

显然，如果您希望允许多项式以外的函数，例如对数、分数幂......

（编辑我在看到您对答案的编辑之前完成了这篇文章，其中包含指向 mathoverflow 上更具体问题的链接。我开始认为必须有一些数学框架来列出给定总阶的所有此类多项式，但听起来你已经比我更了解相关的数学领域了！）

为了增加 onestop 的响应，math.SE 确认多项式

$$w_1 = x_1 + \cdots + x_n$$ $$w_2 = x_1^2 + \cdots + x_n^2$$ $$\cdots$$ $$w_n = x_1^n + \cdots + x_n ^n$$

为您提供确定原始所需的所有信息。$X=(x_1, \cdots, x_n)$

这是一个简洁的结果，因为它也适用于具有均匀概率的离散分布的矩。

Deep Sets和PointNet提供了两个（相当近的）置换不变深度学习架构的示例。这两种方法在引入时都提供了最先进的结果，并且对于基础集的扰动是连续的（在他们的论文中描述的意义上）。

置换不变的 Deep Sets 神经架构可以写成：

$$F_{DS}(A) = \rho\left( \sum_{a\in A} \phi(a) \right)$$

一个（简化的）PointNet 架构可以写成：

$$F_{PN}(A) = \rho\left( \max_{a\in A} \phi(a) \right)$$

其中中的每个点创建特征，而结合了这些特征转换为单个实值输出（这里向量的被认为是组件方面的最大值，并且和是连续的）。由于求和和最大值是排列不变的，因此整个网络也是如此。$\phi:\mathbb{R}^n\to\mathbb{R}^m$$A$$\rho:\mathbb{R}^m\to\mathbb{R}$$\max$$\rho$$\phi$

理想情况下，我们会选择和作为一起最小化所有此类连续函数之间的误差的函数，但这是非常难以处理的。相反，我们和建模为神经网络，其联合参数集被选择以最小化回归误差。$\rho$$\phi$$\rho$$\phi$$\Theta$

---

关于的上下文和符号，这些模型如下所示：$|X_i|=3$

$$F_{DS}(X_i) = \rho\Big(\phi(x_{i1}) + \phi(x_{i2}) + \phi(x_{i3})\Big)$$

$$F_{PN}(X_i) = \rho\Big( \max\big\{\phi(x_{i1}),\phi(x_{i2}),\phi(x_{i3})\big\} \Big)$$

---

奖励： Deep Sets 实际上也描述了一种置换等变架构。