机器算法验证 - 神经网络 - 高贝叶斯错误率问题的策略 - 吾爱随笔录

我正在为一个二元分类问题构建一个神经网络，其中贝叶斯错误（可能的最低错误率）可能接近 50%。

使任务更容易的是我不需要对测试样本的每次观察进行预测。我只想对模型具有相当高置信度的观察结果进行预测。然而，高预测率比低预测率要好。

到目前为止，我使用了一个标准的神经网络（前馈、交叉熵损失、L2 正则化和最终节点上的 sigmoid 激活）。在测试样本中，我只考虑了最终节点值的观察值 $(\hat{Y}_i)$ 在低置信区间之外：

{predicted class}_{i} = {\begin{cases} 1 & if {\hat{Y}}_{i} > 0.5 + a \\ 0 & if {\hat{Y}}_{i} < 0.5 - a \\ NA & else \end{cases} where a \in [0, 0.5] indicates the level of confidence required

$\text{predicted class}_i = \begin{cases} 1 &\text{ if } \hat{Y}_i > 0.5 + a \\ 0 &\text{ if } \hat{Y}_i < 0.5 - a \\ \text{NA} &\text{else} \end{cases} \\ \text{where } a\in [0, 0.5] \text{ indicates the level of confidence required}$

调整超参数（包括 $a$ )，我设计了一个指标，该指标正依赖于：

测试样本准确度（仅计算与 NA 不同的预测）
与 NA 不同的预测百分比。

我对这种方法所获得的性能还不满意，我确信有更聪明的方法可以解决这个问题，例如自定义损失函数。欢迎提供建议、文章链接，甚至是相关的搜索关键字。