Hinton 等人有多篇论文。它处理时间数据和音频（http://www.cs.toronto.edu/~hinton/papers.html）。例如：

• 使用深度信念网络进行声学建模，2012 年。
• 使用受限玻尔兹曼机学习更好的语音声波表示，2011。
• Deep Belief Networks using Discriminative Features for Phone Recognition, 2011. The Recurrent Temporal Restricted Boltzmann Machine, 2009.
• 用于建模运动风格的分解条件受限玻尔兹曼机，2009 年。

我还没有阅读最近的论文，但 2009 年的论文应该让您很好地了解如何使用 RBM 和 DBN 对时间数据进行建模。

我也同意 Ran，大多数深度学习技术都是用图像数据集测试的。请查看这篇研究论文，它讨论了使用深度学习技术进行音频分类。

我还不能发表评论，但我有以下评论。

对于多变量数据，我通常会想到不同“类型”的数据，例如布尔、多选或浮点数据的混合（这里称为混合变量）。正如我所看到的，不同音频信号的输入因此不是多变量的，而是多维的，因为您可能对所有通道都有相同的数据类型（实值数据）。

我认为大多数基本的 RNN 都可以处理高维时间序列。参见例如这里。

也许以上两个链接的组合将导致一个合理的算法。