此链接包含大量的深度学习文献。在这里总结一下（按照初学者理想的顺序）- 注意：所有这些资源主要使用 python。

1）首先，需要具备机器学习的基本知识。我发现加州理工学院的从数据中学习是网络上所有机器学习课程的理想选择。

Andrew Ng 的 Coursera 课程也很不错。

2) 对于神经网络，没有人能比Dr.Patrick Winston更好地解释它。为了更好地理解，应该尝试这些作业。他们在python中。

3）为了更好地理解神经网络，应该完成Michael Nielsen的课程（正如 Alexey 所建议的那样）。这是非常基本的，但它的工作原理。

4) 对于深度神经网络，并在 GPU 上更快地实现它们，有多种框架可用，例如Theano、Caffe、Pybrain、Torch等。其中，Theano 提供了更好的低级功能，允许其用户创建自定义 NN。它是一个 python 库，因此能够同时使用 numpy、scikit-learn、matplotlib、scipy 是一大优势。应该试用 Lisa Lab 编写的深度学习教程，以便更好地理解 theano。

5) 对于卷积神经网络，请遵循andrej karpathy 的教程。

6) 对于无监督学习，请遵循此处和此处。

7) 对于深度学习和 NLP 的交叉点，请关注Richard Socher 的课程。

8) 对于 LSTM，请阅读Hochreiter, S. 和 Schmidhuber, J. (1997)。长短期记忆。神经计算，9(8)，1735-1780和Graves，Alex。使用循环神经网络进行监督序列标记。卷。385. 施普林格，2012 年。

这是 LSTM 的Theano 代码。

这个主题是新的，所以大部分智慧都散布在论文中，但这里有两本最近的书：

• 深度学习，Yoshua Bengio，Ian J. Goodfellow，Aaron Courville。
• 深度学习：方法与应用，邓丽和董宇。

还有一些实用的材料。

• ACL 2012 + NAACL 2013 教程：NLP 的深度学习（无魔法）

迈克尔尼尔森的神经网络和深度学习。这本书仍在进行中，但它看起来非常有趣和有前途。而且它是免费的！这是链接。

到目前为止只有 5 章，其中大部分都在谈论通常的神经网络，但仍然值得一看。

更新：本书已完结！

主要参考资料：

深度学习课程：

• Andrew Ng 的机器学习课程有一个很好的神经网络介绍部分。
• Geoffrey Hinton 的课程：Coursera Neural Networks for Machine Learning（2012 年秋季）
• Michael Nielsen 的免费书籍《神经网络和深度学习》
• Yoshua Bengio、Ian Goodfellow 和 Aaron Courville 写了一本关于深度学习的书
• Hugo Larochelle 在舍布鲁克大学的课程（视频 + 幻灯片）
• 斯坦福关于无监督特征学习和深度学习的教程（Andrew Ng 等人）
• 牛津大学 ML 2014-2015 课程
• NVIDIA 深度学习课程（2015 年夏季）
• Google 在 Udacity 上的深度学习课程（2016 年 1 月）

面向 NLP：

• 斯坦福 CS224d：自然语言处理的深度学习（2015 年春季），作者：Richard Socher
• NAACL HLT 2013 上的教程：自然语言处理的深度学习（无魔法）（视频 + 幻灯片）

以视觉为导向：

• CS231n Convolutional Neural Networks for Visual Recognition by Andrej Karpathy （以前的版本，更短且不太完善：Hacker's guide to Neural Networks）。

特定于工具包的教程：

• DL4J (Java)
• Theano (Python, Y. Bengio)
• 使用 Torch7 进行机器学习（Lua、LeCun）
• H2O 深度学习 (Java)
• 咖啡（C++、UCB）
• Nervana 的深度学习课程