我发现物流地图绝对令人着迷。本身(因为我喜欢分形)和因为它在自然界中被观察到(参见:https ://www.youtube.com/watch?v=ovJcsL7vyrk )。
我想知道是否有人以某种方式尝试将其作为激活功能取得了任何成功。
我喜欢它,因为它在 ~3.0 以上有某种“我不确定该怎么做”,而且信心越低,响应就越混乱。它提供了探索其他解决方案以逃避局部最优的可能性(不确定我是否正确使用了这个词)。低于 3 时,它仍然是一个很好且平滑的激活函数,例如 tanh。
例如:我得到的奖励不是我期望的奖励,差异越大,我就越会探索其他解决方案。但它仍然是渐进的,从 1 选择,到 2 选择,4、8、16,......直到变得混乱。(提供了尝试一些伪随机选择的可能性)。在这个阈值之下,它仍然可以作为一个可用的“旧的”激活函数。
另一个好的方面是它对 gpu 友好,并且对于这个应用程序不需要多次迭代,因为一点点不确定性(即使低于阈值)也是不可取的。见:https ://upload.wikimedia.org/wikipedia/commons/6/63/Logistic_Map_Animation.gif
编辑:所以,好吧,我在我非常天真的赛道上测试了它。(前馈,没有反馈,没有错误,没有适应度,只有没有碰撞的汽车的基因选择)。它确实有效。我在实践中看不到任何优势,但是对于如此幼稚的NN,我无话可说。
我的实现:
def logi(r):
x = .6 # the initial population doesn't matter so i took .6
for _ in range(random.randrange(10,40)):
x = r * x * (1 - x)
return x
激活占用了我笔记本电脑 cpu 的 8%(而在我的雷达上是不可见的,因为泄漏的 leru)