我从Persi Diaconis那里听到的简短回答如下：

概率和统计所考虑的问题是相反的。在概率论中，我们考虑一些具有由随机变量建模的随机性或不确定性的潜在过程，然后我们弄清楚会发生什么。在统计学中，我们观察已经发生的事情，并试图弄清楚哪些潜在过程可以解释这些观察结果。

我喜欢一罐红色和绿色果冻豆的例子。

概率论者首先知道每个人的比例，然后询问绘制红色软糖豆的概率。一位统计学家通过从罐子里取样来推断红色果冻豆的比例。

简单地说统计数据只是概率的倒数是一种误导。是的，统计问题是反概率问题，但它们是不适定的反问题，这在如何解决它们方面有很大的不同。

概率是纯数学的一个分支——概率问题可以使用公理推理提出和解决，因此任何概率问题都有一个正确答案。

统计问题可以通过使用概率模型转换为概率问题。一旦我们对生成数据的机制做出某些假设，我们就可以使用概率论来回答统计问题。然而，这些概率模型的正确制定和检查与使用这些模型对问题的后续分析同样重要，甚至更重要。

可以说统计包括两部分。第一部分是如何为问题制定和评估概率模型的问题；这一努力属于"科学哲学"领域。第二部分是假设某个模型后获得答案的问题。这部分统计确实是应用概率论的问题，在实践中，也包含大量的数值分析。

见： http ://bactra.org/reviews/error/

我喜欢 Steve Skienna 的Calculated Bets中的这个（完整讨论见链接）：

总之，概率论使我们能够找到给定理想世界的后果，而统计理论使我们能够衡量我们的世界在多大程度上是理想的。