我对这个问题进行了更多思考，并设法找到了一个反例，这也要感谢上面 Piotr 的评论。第一个问题的答案是否定的 - 连续随机变量 (RV) 的微分熵并不总是小于。例如，考虑一个连续的 RV X，其 pdf 为 for。$\infty$

$$f(x) = \frac{\log(2)}{x \log(x)^2}$$ $x > 2$

不难验证它的微分熵是无限的。不过它的增长速度很慢（大约是对数）。

对于第二个问题，我不知道一个简单的充分必要条件。然而，一个部分答案如下。根据其支持将连续 RV 分为以下 3 种类型之一，即

类型 1：支持有界的连续 RV，即包含在 [a,b] 中。
类型 2：支持半有界的连续 RV，即包含在 [a, ) 或 ( ,a] 中 类型 3：支持无界的连续 RV。$\infty$$-\infty$

然后我们有以下内容 -

对于 1 型 RV，它的熵总是无条件地小于。对于 2 型 RV，如果其均值 ( ) 是有限的，则 其熵小于对于 3 型 RV，如果其方差 ( ) 是有限的，则 其熵小于$\infty$
$\infty$$\mu$
$\infty$$\sigma^2$

类型 1 RV 的微分熵小于对应的均匀分布的微分熵，类型 2 RV 的微分熵小于指数分布的微分熵，即，以及类型 3 RV，高斯分布，即。$log(b-a)$$1+log(|\mu-a|)$$\frac{1}{2} log(2{\pi}e\sigma^2)$

请注意，对于 2 型或 3 型 RV，上述条件只是充分条件。例如，考虑 对于的 2 型 RV 。显然，它的平均值是无限的，但它的熵是 3.1 nats。或者考虑具有 for . 它的方差是无限的，但它的熵是 2.6 nats。因此，如果有人可以为这部分提供完整或更优雅的答案，那就太好了。

$$f(x) = \frac{3}{x^2}$$ $x > 3$ $$f(x) = \frac{9}{|x|^3}$$ $|x| > 3$