@Glen_b 在评论中指出，计算精确的 Normal CDF 概率很昂贵。存在准确的近似值，但仍然必须问为什么要这样做？

Logit 和 probit 函数看起来基本相同，直到重新缩放。

（图片转载自@gung 的回答here。）

从实际的角度来看，很难看出两者之间的微小差异会有多大意义。此外，最近关于 ReLU（和类似）激活函数的工作已经发现对逻辑单元的实质性改进。由于逻辑单元和概率单元的相似性，我们可以推测 ReLU 的性能也将优于概率单元。

总之，概率单位是比 ReLU（或其变体）获得更差结果的更昂贵的方法。