仅使用 2 个隐藏层对数字进行排序

数据挖掘 深度学习
2021-09-23 07:44:08

我正在阅读 Ilya Sutskever 和 Quoc Le 的基石论文Sequence to Sequence Learning with Neural Networks在第一页,它简要提到:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size 

谁能简要概述如何仅使用 2 个隐藏层对数字进行排序?

2个回答

做一些研究,我发现一篇论文证明了最多可以用 3 层进行排序,并且如果将网络的大小限制为输入数字的数量的多项式,他们的解决方案是最佳的:

用于除法和相关问题的深度高效神经网络,请参阅第 955 页的定理 7(PDF 中的第 10 页)。

我想人们可以手动提出重量来准确地完成这项工作,但也许重点是能够训练一个?几个例子:

如何使用卷积神经网络对数字进行排序?

https://github.com/primaryobjects/nnsorting