ReLU 本身就是一种非线性，其优势在于它们的线性状态，这可以防止它过早饱和。

话虽如此，对于您的情况，有几个选择是剪辑 ReLU 的输出或在它们之后（或代替它们）放置 sigmoid（或 tanh，调整输出范围）。

使用 sigmoid 或 tanh。我认为在你的情况下使用裁剪的 ReLU 也是没有意义的，因为除了@ncasas 所说的之外，对于小于零或大于你的裁剪阈值（即 1）的值，你不会得到梯度，可能会使学习变得更加困难。