装箱

进行这种估计的一种简单方法是将连续值放入箱中并获得离散问题。拆分域$X$ 和 $Y$放入箱中并计算落在每个箱内的点数以获得密度。因此，计算将是：

$$\sum_{b_x \in Bins_x} \sum_{b_y \in Bins_y} \frac {\#(b_x, b_y)} N \log \frac {\frac {\#(b_x, b_y)} N} {{\frac {\#b_x} N} {\frac {\#b_y} N}}$$

在哪里 $\#(b_x b_y)$ 是样本数，其中 $X \in b_x$ 和 $Y \in b_y$, $\#b_y$ 是样本数，其中 $Y \in b_y$ 和 $\#b_x$ 是样本数，其中 $X \in b_x$.

熵和密度估计

另一种方法是注意互信息可以表示为

$$I(X, Y) = H(X) + H(Y) - H(X,Y)$$

因此，如果您可以估计熵，则可以估计信息。现在，为了找到函数对数据的期望，您可以使用插件估算器并执行

$$E[g(X)] = {\frac 1 n} \sum_i g(X_i)$$

这里的问题是我们要估计函数 $\log p(x)$ 在哪里 $p$ 取决于我们的数据。

所以可以使用密度的估计 $p$对于每个点，然后使用插件估计器。核密度估计器是一种方法，最近邻估计器是另一种方法。这两种方法都是非参数的。