如果输入数据有很多负值,是否最好避免使用 ReLu 作为激活函数?

机器算法验证 机器学习 神经网络 深度学习
2022-03-11 11:43:00

ReLu 可能是当今机器学习中最流行的激活函数。然而,当输入数据值为负时,ReLu 函数输出 0。ReLu 完全无视负面数据。这可能会导致信息丢失。如果输入数据有很多负值,是否最好避免使用 ReLu 作为激活函数?

2个回答

不,因为选择的激活函数不直接应用于输入数据。最早应用它是在第一层之后:,当权重被正确初始化时,会导致激活的正负输入。a(Wx+b)

编辑:我指定了正确的初始化,因为它很重要。通常,权重被初始化为关于对称分布的小的随机值,而偏差被初始化为正好这意味着最初,输入在正负之间大致平均分配,这是一个很好的起点,因为我们希望处于可以利用 relu 非线性的一般区域内。00

不,输入激活函数的数据已经转换,例如,您输入的是 X*W 但不是 X。