我只是想知道他为什么要测量分布之间的相似性$p(x|\theta)$和$p(x|\theta_0)$.

你有点问错问题了。如果我们在使用 MLE 的环境中，那么其背后的想法是我们使用最大化可能性的参数来估计模型的参数。真实的可能性（$p(x|\theta_0)$) 实际上并不属于我们正在使用的可能性参数家族！

他在这里所做的事情表明$that\ performing\ MLE\ is\ equivalent$最小化真实可能性和我们用于 MLE 的可能性族之间的 KL 差异。所以虽然真实$p(x|\theta_0)$可能实际上不在您正在执行 MLE 的可能性系列之内，这告诉我们的是，我们的可能性系列中的 MLE 将是该系列中最接近真实分布的$in\ KL\ divergence$. 这很好，因为即使我们偏离了模型规范，我们发现 MLE 在某种意义上仍然接近事实。