期望值是可以为结果的任何函数计算的量。

让$\Omega$是所有可能结果的空间，让q:\Omega \rightarrow \mathbb{R}是在\Omega$q:\Omega \rightarrow \mathbb{R}$上定义的概率分布。对于任何函数f:\Omega \rightarrow S其中S是在加法和标量乘法下闭合的任意集合（例如S = \mathbb{R} ），我们可以计算分布q下f的期望值如下： \mathbb {E}[f] = \mathbb{E}_{x \sim q}[f(x)] = \sum_{x \in \Omega} q(x) f(x) $\Omega$ $f:\Omega \rightarrow S$$S$$S = \mathbb{R}$$f$$q$

在 KL 散度中，对于一些固定的p(x)，我们有f(x) = \ln{\frac{q(x)}{p(x)}}。$f(x) = \ln{\frac{q(x)}{p(x)}}$$p(x)$