如何验证极低的错误率

机器算法验证 生存 样本量 质量控制
2022-03-03 05:35:55

我面临着试图通过测试传感器的极低错误率来证明(1,000,000 次尝试中不超过 1 个错误)。我们进行实验的时间有限,因此我们预计无法获得超过 4,000 次尝试。我认为传感器不符合要求没有问题,因为即使 4,000 次尝试中的一个错误也会产生 95% 的错误率置信区间,下限大于 0.000001。然而,证明它确实满足要求是问题所在,因为即使 4,000 次尝试中出现 0 个错误,仍然会导致大于 0.000001 的下限。任何建议将不胜感激。

3个回答

这是一个常见问题,尤其是对于故障率低至109. 为了解决这个问题,您需要做出假设、创建模型和/或合并其他形式的数据。

INL 的 Lee Cadwallader写道

当某个组件(例如设计阶段的组件)不存在操作经验数据时,分析师有几种选择:

  • 分解——将一个组件分解为其组成部分,然后将手册故障率分配给这些部分。如果分析人员对零件数据的准确性有信心,那么这种技术虽然乏味但很有用;如果零件上的数据不准确,则应使用其他技术。

  • 分析师判断——可能需要基于系统可用性要求的逆向估计,或简单地对此类组件的一般故障率进行工程判断。

  • 专家意见——从主题专家那里获得定性意见,并将这些意见结合起来,得出一个数量级的故​​障率。

  • 特定于组件的技术——例如,管道的 Thomas 方法。

分解经常用于电子部件,部件故障率手册证明了这一点。

其他来源表明,可以使用行业数据或经验来告知或代替测试数据。

Weibull.com上讨论的其他技术包括

为了评估组件的磨损时间,可能需要进行长期测试。在某些情况下,100% 的占空比(每天 24 小时在道路磨损模拟器中运行轮胎)可以在几个月内提供有用的寿命测试。在其他情况下,实际产品使用可能是一天 24 小时,没有办法加快工作周期。可能需要施加高水平的物理应力以缩短测试时间。这是一种新兴的可靠性评估技术,称为 QALT(定量加速寿命测试),需要考虑被测材料的物理和工程特性。

需要注意的是,这个问题似乎与估计其他罕见事件(如小行星撞击和金融系统的灾难性故障——塔勒布的“黑天鹅”)的问题非常相似。. 众所周知,后者的比率被低估了。

仅通过 4,000 次试验无法证明错误率 < 1/1,000,000。您需要以某种方式选择错误(并行运行更多试验并且只观察导致错误的案例)或施加某种会增加错误机会的压力,然后从压力条件推断到正常条件。

无论如何,这就是遗传学家会做的事情......

一般来说,你不能。我会非常警惕那些声称能够证明1/106仅给出错误率4000测试。通常,这些技术涉及在某个地方做出独立性假设,这是无法可靠验证的:这只是信仰的飞跃。这些有缺陷的推理导致了安全关键系统领域的严重失败。

在某些特殊情况下,您可以使用如此有限数量的测试来证明所需的可靠性水平,例如,通过考虑有关情况的物理因素。但它们很少见,而且这种推理很脆弱。