熵估计是一个非常困难的问题。根本问题是您的估计受到“未观察到的”事件的严重影响（尽管这些事件具有非零概率）。

有很多不同的熵估计器专门设计用于解决这个问题。例如，参见Liam Paninski 的 BUB 估计器、Nemenman 等人的NSB估计器、Vu 等人的覆盖调整估计器（另见 Chao 等人，2003）和Archer 等人的PYM 估计器。

还有许多其他论文解决了这个问题。每个都有一些不同的方法，有些可能在不同的情况下更合适。我建议的几篇论文提供了免费的在线代码，可以自动计算估计和置信度。您可能也对此和R 包 'entropy'感兴趣。

您需要将不确定性的标准传播（在非线性情况下）应用于泊松分布（即假设每个计数都是独立的）。

即需要变量 p_n)的泰勒级数中围绕 ) ，即： $H(p_1+\Delta p_1, \ldots, p_n + \Delta p_n)$$n$$(\Delta p_1,\ldots ,\Delta p_n)$$(0,\ldots, 0)$

$$H(p_1+\Delta p_1, \ldots, p_n + \Delta p_n) =H(p_1,\ldots,p_n)-\frac{1}{\ln2}\sum_{i=1}^n (\ln p_i+1)\Delta p_i -\frac{1}{2\ln2} \sum_{i=1}^n p_i^{-1} \Delta p_i^2 + \ldots$$

记住并根据需要计算适当的矩。$p_i = \frac{N_i}{N}$

但是，它不适，因为它在这里没有泰勒展开。在这种情况下，我知道的唯一可能性是蒙特卡洛-您估计分布参数，获取随机分布，然后根据它们获取随机结果并查看结果的分布（这里：熵）。$p_i=0$