从具有未知先验的观察中确定最佳二元决策规则阈值?

信息处理 信号检测 估计 阈值 最大后验估计
2021-12-26 20:28:22

仅给定由具有未知先验信息的高斯噪声扰动的二进制信号的观察,我如何估计最佳决策阈值?

(不,这不是作业问题)

具体来说,我正在考虑以下模型:Y是一个两态(H0,H1)随机变量:

  • P(Y|H0)N(μ0,σ)
  • P(Y|H1)N(μ1,σ),μ0<μ1
  • P(H0)=π0
  • P(H1)=1π0

参数未知μ0,μ1,σ,π0.

如果我知道这些参数,则可以从这些参数中计算出最大后验对数似然阈值。本来想的是如何先估计参数才能达到阈值Yt. 但我认为直接估计可能更稳健Yt.

思考:对观测值进行归一化(减去样本均值并除以标准差)将参数空间缩小为 2 个维度:π0σμ1μ0.

3个回答

我的直觉是,很难得出您期望找到的正确决策阈值:

τ=12(μ0+μ1)σ2μ0μ12logπ1π(μ0μ1)

根据您正在考虑的全球统计数据(样本平均值:πμ0+(1π)μ1; 标准偏差:更复杂的表达式,但我怀疑它会涉及日志)。

我会这样解决问题:

  1. 如果假设σ小可以制作

    我提到这一点,因为请记住,决策阈值受π除非σ足够高以允许两个类重叠。如果μs 相距不止几个σ,类先验概率在决策过程中无话可说!

    • 对您的观察结果运行 k-means (σ很小并且由两个类共享,因此在这种情况下,k-means混合模型的 EM)。如果您只想对这些观察结果进行二值化而没有其他数据,您可以在此处停止。
    • 如果您有新的观察要二值化,并且您知道它们是由相同的过程生成的,您可以使用 k-means 在您的训练数据上找到的类质心作为μ,并使用中间作为决策阈值。
  2. 如果没有关于σ可以制作

    • 对您的训练数据运行 EM 算法(具有合并的对角协方差)。使用推断的“软类成员”变量来二值化您的观察。
    • 计算决策阈值τ从 EM 给出的参数中对同一过程生成的新数据进行二值化。

总而言之,您有两个具有未知参数的分布和一个可能源自任一随机过程的测量。这通常被称为数据关联问题,并且在跟踪社区中非常普遍且被广泛研究。您可以考虑使用概率数据关联过滤器 (PDAF) 或多假设跟踪 (MHT) 算法。这应该为您提供每个分布的均值和方差的估计值。
或者,由于您的噪声是白噪声和高斯噪声,因此 ML、MAP 和 MMSE 都是等效的,并且可以通过最小化均方误差(成本函数)来找到,正如前面的响应所有效描述的那样。我会使用动态编程方法来找到成本函数的最小值。这应该比前面描述的 EM/聚类方法更简单(在计算上)。还有一点评论:PDAF 是递归的。鉴于简单的信号模型,它应该非常有效地工作,并且我期望它只是 EM 算法计算复杂度的一小部分。祝你好运,-B

1980 年代中期,Kittler 和 Illingworth 提出了一种算法,称为“最小误差阈值”,可以解决高斯分布的这个问题。最近 Mike Titterington(格拉斯哥大学)和 JH Xue(现就职于伦敦大学学院)已将其置于更正式的统计框架中,请参阅他们的联合期刊出版物。