机器算法验证 - 如何计算互信息？ - 吾爱随笔录

我有点困惑。有人可以向我解释如何基于以二进制术语出现作为权重的术语文档矩阵计算两个术语之间的互信息吗？

\begin{matrix} ^{'} W h y^{'} & ^{'} H o w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D o c u m e n t 1 & 1 & 1 & 1 & 1 \\ D o c u m e n t 2 & 1 & 0 & 1 & 0 \\ D o c u m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

谢谢