使用深度神经网络时的显着改进示例

机器算法验证 神经网络 深度学习
2022-03-31 08:55:06

我们已经使用“经典”神经网络预测化合物的活性。现在有关于深度学习的所有这些炒作。我想知道你是否知道从经典神经网络到深度神经网络预测能力显着提高的案例。

2个回答

“戏剧性”是主观的。

深度网络做得更好的一个例子是 MNIST 手写数字集。Yann LeCun 保留了一个网页,其中包含许多有用的链接,其中包含各种技术所取得的进展。与语音识别和图像识别相比,这是一个相对简单的分类问题,在更复杂的任务上,深度网络有望胜过单隐藏层神经网络(具有相同数量的参数)甚至更多。

在我看来,过去几年深度学习社区的一些最令人信服的成果来自自动语音识别(ASR)领域。

在这一点上,ASR 已经看到了一些非常聪明的人在大约 4 年的时间里所做的出色工作,因此该领域在过去 10 年左右的时间里一直处于平稳状态。例如,如果您得到的结果是单词错误率比现有技术降低了半个百分点,则通常认为它可以在该领域发布。

然而,使用深度模型的结果在过去几年中在该领域取得了显着进展。值得注意的是,深度模型使某些系统的单词错误率降低了 5%。此外,深度模型似乎能够从更简单的语音编码中学习适当的特征表示。也就是说,深度模型似乎能够仅从数据中学习语音数据的有效表示,而不是使用典型的手动编码管道将语音波形转换为梅尔频率倒谱系数 (MFCC),从而消除了硬编码的需要。对这些倒谱(或其他)表示进行编码。鉴于该领域的历史进步,这些结果是显着的。

示例参考

L邓等人。“微软语音研究深度学习的最新进展。” ICASSP 2013 年。

AR Mohamed 等人。“使用区分特征进行电话识别的深度信念网络。” ICASSP 2011。

G达尔,T Sainath,G欣顿。“使用整流线性单元和 Dropout 改进 LVCSR 的深度神经网络。” ICASSP 2013 年。