说基于 NN 的方法正在成为许多 AI 领域中非常强大的工具似乎是毫无争议的——无论是识别和分解图像（边界处的人脸、汽车中的街景、不确定/复杂情况下的决策还是使用部分数据）。几乎不可避免地，其中一些用途将发展为基于神经网络的人工智能承担部分或全部人类负担的情况，并且通常比人们通常做得更好。

示例可能包括假设用作自动驾驶汽车、医疗诊断、人员/身份验证、电路/设计验证、可疑交易警报中的步骤的 NN。可能在未来十年左右的许多领域。

假设这种情况发生了，并且通常被认为是成功的（例如，它的诊断正确率为 80%，而人类医生的诊断率为 65% 或其他东西，或者包含 NN 组件的人工智能汽车比人类驾驶的汽车或替代品少 8% 的碰撞，管他呢）。

现在 - 假设其中之一在一种情况下异常而严重地做了一些非常错误的事情。如何接近它？使用形式逻辑步骤可以跟踪形式决策过程，但使用 NN 可能没有形式逻辑，特别是如果它变得足够复杂（比如说几十年），那么只有 200 亿个神经处理器及其 I/O 权重和联系，即使失去生命，也可能无法确定导致某些事件的原因。也可能无法说比系统不断学习的更多信息，并且此类事件很少见。

我也没有听说过任何有意义的方法来为 NN 做一个“黑匣子”或飞行记录器等价物（即使不使用我的生命危急案例），这将使我们能够理解并避免一个错误的决定。与对产品缺陷的其他响应不同，如果可以在事件发生后对 NN 进行训练以修复此类情况，它并不能清楚地提供我们想要的确定性，即新的 NN 设置已经解决了问题，或者没有减少这样做的风险和其他问题的平衡。它只是非常不透明。然而，很明显，它作为一种人工智能方法非常有价值。

20 年后，如果 NN 是飞机飞行或飞机设计中的一个（被公认为安全和成功的）组件，或者内置在医院系统中以监视紧急情况，或者发现银行的欺诈行为，并且像往常一样通过任何监管和市场需求可能存在并且在一般市场中多年来表现良好，然后在一个案例中，这样的系统在一段时间后明显错误地出现了一次——它危险地误读了道路，推荐了损害生命的药物或公然误诊，或者在一家清算银行清算了一笔 2 亿英镑的公然欺诈交易，这笔交易只是在汇款之前被偶然发现。

制造商可以做些什么来解决公众或市场的担忧，或解释事件？当董事会告诉技术团队“这是怎么发生的并确保它得到修复”时，技术团队会怎么做？可以保留什么样的有意义的日志等？社会是否必须接受不确定性和偶尔的古怪行为可能是固有的（祝社会好运！）？还是有更好的方法来处理更适合 NN 的日志记录/调试/决策活动？