相关性衡量两个变量 X 和 Y 之间的线性关系（Pearson 相关性）或单调关系（Spearman 相关性）。

互信息更普遍，衡量在观察 X 后 Y 中不确定性的减少。它是联合密度与个体密度乘积之间的 KL 距离。所以 MI 可以测量非单调关系和其他更复杂的关系。

为了补充 Rob 的答案......关于对网络进行逆向工程，当您想要提取网络中的因果链接而不是关联链接时，MI 可能优于相关性。相关网络是纯关联的。但对于 MI，你需要更多的数据和计算能力。