在 2D 中绘制时，ReLu 边界线出现线性的原因是什么？这是否可以推广到更高维度，因为大维度的边界线也是线性超平面？
例如，在tensorflow 的Playground 中，任何时候选择 ReLu 作为激活函数，生成的边界线都是由线组成的。
我看不到仅输出 z 或 0 的底层神经元之间的联系以及它如何连接到输出图。
非常感谢您的任何想法/帮助！
直觉：为什么 ReLu 激活边界线是线性的？
数据挖掘
神经网络
深度学习
张量流
统计数据
2022-03-02 17:01:44
1个回答
据我了解，relu 给出了线性边界，因为它对于 X>0 是线性的。如果将其扩展为像 Z=f1(x1)+f2(x2)....fn(xn) 这样的方程形式，即使我们考虑死神经元，我们也只会得到一个线性方程。x<0 的部分确保没有 -ve 信号被结转，但不会向最终方程添加任何非线性。死神经元的影响很可能方程的最终系数将具有比激活只是正常函数时略小的系数值，因为没有添加到神经元的负分量。