从特征提取到学习所需结果，深度学习算法可以作为解决手头任务的完整管道。端到端学习通常是指省略任何手工制作的中间算法，直接从采样数据集中学习给定问题的解决方案。这可能涉及不同网络的连接，例如同时训练的多个 CNN 和 LSTM。

对于 OCR 示例，与其尝试对字符进行分类并将它们聚类成单词，不如直接使用 CNN 对单词本身进行回归是一种更好的方法。

在光流中，可以直接从图像到最终流场，省略图像差异计算。

在自动驾驶汽车中，可以训练网络直接学习如何驾驶。

在所有这样的例子中，我们的想法是让网络从“最原始​​”的可能数据到最终的输出。这被发现表现更好。端到端学习减少了人工设计的工作量，并且在大多数应用程序中表现更好。