典型的香农熵，在离散的概率集上，需要是正的，因为它是非负数的平均值，即

$$\sum_i p_i \left(\tfrac{1}{p_i}\right).$$

微分熵不必是正的。这是

$$\int p(x) \log\left(\tfrac{1}{p(x)}\right) dx,$$

这不需要是积极的。是概率密度，所以它可以大于一，使得为负。事实上，微分熵可以看作香农熵，我们对无限小的盒子做限制并减去（即盒子大小），否则限制发散：$p(x)$$\log(\tfrac{1}{p(x)})$$\log(1/\epsilon)$

$$\lim_{\epsilon\to\infty} \sum_i p_{[i\epsilon, (i+1)\epsilon]} \log\left(\tfrac{1}{p_{[i\epsilon, (i+1)\epsilon]}}\right)$$ $$\approx \lim_{\epsilon\to\infty} \sum_{i} p(i \epsilon)\epsilon \log\left(\tfrac{1}{p(i \epsilon)\epsilon}\right)$$ $$= \lim_{\epsilon\to\infty} \left(\sum_{i} p(i \epsilon)\epsilon \log\left(\tfrac{1}{p(i \epsilon)}\right) + \log(1/\epsilon) \right)$$ $$= \int_x p(x) \log\left(\tfrac{1}{p(x)}\right) dx + \lim_{\epsilon\to\infty}\log(1/\epsilon)$$

对于Dirac delta微分熵是，所以你是对的。$-\infty$