本质上，神经网络中的每个非线性层都是来自$\mathbb{R}^n$输入到$\mathbb{R}^m$输出。不需要这些维度是独立的和不相关的，也不需要映射是可逆的。

如果每一层都被粗略地缩放以接近平均值为 0 和标准差为 1 的正态分布，通常会发现最佳性能。然而，这对于任何类型的类空间映射来说都是一个独立的问题。

如果您知道与您的问题相关的合适映射并且可以简化其表达，那么您可以在坐标系之间应用空间变换（通常通过映射输入特征）并在神经网络中使用它。如果您认为可能有帮助，您可以将坐标映射到任何弯曲空间。例如，在极坐标或笛卡尔坐标之间选择特征是可能出现的一种选择。

然而，即使没有制作这种有用的映射，您也可以逐层分析神经网络，并看到它可以有效地从训练数据中学习这些空间映射。这是一种被称为“流形假设”的直觉——链接中有一些图像显示了神经网络如何根据它们在特征空间中的排列方式来学习分离类，DARPA 研究人员的这篇文章有一个很好的系列显示二维螺旋的连续变换的图像，允许最后一层执行线性分离。