神经网络和复值输入

信息处理 复杂的 神经网络 深度学习
2022-01-01 06:28:48

[不确定这个或 stats.stackexchange 是否是这篇文章的正确位置,所以现在把它放在两者上。]

我最近看到了一些描述复杂值神经网络的论文,例如:Deep Complex Networks, 2017, Trabelsi et al. 我想知道的是,与其发明一种将复杂值输入作为单个通道的新型复杂网络管道,为什么不将实部和虚部分成两个通道,输入常规神经网络,然后让网络找出关系,不一定知道一个通​​道代表实部,而另一个代表虚部?

我认为这样做肯定有一些缺点,或者神经网络无法理解的某些关系,所以如果是这种情况,请向我提供一个高级解释,解释为什么这个双通道标准网络方式不如新颖的单通道复杂网络?

(顺便说一下,我想到的用于研究深度复杂网络的应用是射频信号分类。)

3个回答

复杂表示的力量对我来说仍然是一个开放的话题。我仍然努力理解傅立叶变换。

对我来说,一个潜在的问题是:为什么复杂的转换对真实数据有用?更一般地,当数据存在于集合中时,是最合适的分析集合,还是更适合求助于更大的集合例如,对于实值多项式,我们知道复数域提供了更优雅的扩展。这可能不会那么遥远,因为SSSz-transforms(扩展多项式)是实时序列分析的首选工具。真正的线性时不变系统是复杂的(cisoids)的根信号(这里是特征向量)。为了更好地分离频率,时频分析通常使用解析信号和希尔伯特变换,或解析双树多尺度工具,如小波。最近的论文复值信号处理:处理不当行为的正确方法处理了更多随机观察:

复值信号出现在科学和工程的许多领域,因此具有根本性的意义。过去,通常隐含地假设复杂的随机信号是正确的或循环的。一个真复数随机变量与其复共轭不相关,一个圆形复数随机变量的概率分布在复平面内旋转时是不变的。虽然这些假设很方便,因为它们简化了计算,但在许多情况下,适当的和圆形的随机信号是基础物理的非常差的模型。当考虑到不当和非循环性时,正确的处理类型可以提供显着的性能提升。复值数据的统计信号处理有两个关键要素:1) 利用复值随机信号的完整统计表征;2)针对复杂参数优化实值成本函数。在这篇概述文章中,我们回顾了必要的工具,其中包括广泛的线性变换、增强的统计描述和 Wirtinger 演算。我们还介绍了复值信号处理领域的一些最新进展,涉及模型选择、滤波和源分离等主题。和 Wirtinger 微积分。我们还介绍了复值信号处理领域的一些最新进展,涉及模型选择、滤波和源分离等主题。和 Wirtinger 微积分。我们还介绍了复值信号处理领域的一些最新进展,涉及模型选择、滤波和源分离等主题。

但是回到过去(例如奥本海姆的作品),人们知道复杂相位可以捕捉非平稳性、不连续性(边缘和跳跃)和振荡行为(纹理)。我目前的信念是,在给定的尺度上,作为一个整体计算的复杂特征在捕获局部行为方面更有效,这比一对实部和虚部在某种程度上分开计算,并结合了一些关于平移或旋转的不变性。

至于神经网络,当然还有深度学习,最近的散射网络理论和后续工作为理解深度学习的工作原理提供了坚实的基础,从坚实的数学角度,基于复杂的小波框架和非线性算子。您的问题的另一篇有趣的论文是:

M. Tygert等人。, 2016,复值卷积网络的数学动机, 神经计算

由于精确对应,非常丰富和严格的小波数学分析体直接应用于(复值)卷积网络。

正如 LeCun、Bengio 和 Hinton (2015) 所评论的那样,近年来卷积网络 (convnets) 对人工智能变得越来越重要。这篇笔记提出了复值卷积网络及其卓越性能的理论论据。复值卷积最终可以计算数据驱动的多尺度窗口光谱,这些光谱表征了时间序列(如音频)和自然图像(包括模式和纹理)建模中常见的某些随机过程。我们使用局部平均值来构建这种多尺度光谱多小波绝对值,或更一般地,非线性多小波包。

也许,复数是不够的,我们应该转向四元数......

训练本质上是一种优化,假设您将有复权重和实值目标 ,因为柯西黎曼条件中基本上没有泰勒级数),因此它被处理为: 其中被认为是独立的,起初看起来有点奇怪,但你可以线性(和可逆地)从转换为并有一个等效的优化 z

minzf(z)f(z)Real
f(z)z
minz,zf(z,z)
zzz,zReal(z),Imag(z)
minzg(Real(z),Imag(z))

一篇好文章是

@article{RN18,
   author = {Sorber, Laurent and Barel, Marc Van and Lathauwer, Lieven De},
   title = {Unconstrained optimization of real functions in complex variables},
   journal = {SIAM Journal on Optimization},
   volume = {22},
   number = {3},
   pages = {879-898},
   ISSN = {1052-6234},
   year = {2012},
   type = {Journal Article}
}

它引用了 Bramwood,这是它通常在数组处理中引入的方式。

变得复杂或就实数和虚数而言是等价的,因为您了解复杂变量方面的优化必然是z,z

你的问题很有道理。在机械层面上,复杂网络和具有两倍通道数量的常规网络之间的区别在于将通道对联系在一起的乘法运算。与具有相同参数计数的实值网络相比,这可以看作是网络可以表达的假设类别的限制。

理想情况下,如果限制编码了对您要解决的问题有用的内容(例如,如何将 CNN 视为强制平移对称的神经网络),这应该会有所帮助。我找到了一篇硕士论文,该论文展示了一个复值图像识别网络,用于一个非常具体的任务,它比等效的实值网络更通用,但代价是训练不稳定。那里的分析是,适合复值神经网络的问题是有趣的输入具有相位相干结构的问题,但是它们确实只显示了一个特定问题,其中网络类型运行良好。