我对深度学习只有一个基本的了解，但是通过它，我对如何逼近 NN 的全局最小值有了一个想法。
但是，对于它的激活功能，我只能使用：
在向量上。因此，例如，任何多项式都有效，因为它只是乘法和加法的组合。因此，通常的激活函数如 sigmoid 和 ReLU 不能用作 sigmoid 需要除法和指数，而 ReLU 需要能够区分情况。
就我所见，我可以使用的函数都是无界的，所以不能使用通常的通用逼近定理。然而，ReLU 似乎也很有用并且是无界的。
因此我的问题是：你知道满足我标准的有用激活函数吗？或者这是不可能的？
@olukatorzu我认为我们需要从不同的角度看待这个问题。它可能会给你一些启发。让我们问一个问题是神经网络是通用逼近器吗？
我将用 Play-Doh 解释这一点。呵呵！
仅 向量 就是已在桌子上展平的 Play-Doh（线性函数）。
Activation_functions 在 Play-Doh 中创建 3d 曲线，因此现在您可以创建复杂的 3d 形状（非线性函数）。请记住，activation_functions 是可以以不同方式塑造事物的工具（饼干切割机只能在 Play-Doh 中制作圆圈！哈哈）
梯度下降是将 Play-Doh 变成您想要的形状的魔法，但前提是您为该功能提供正确的说明和工具。
请记住，如果您无法使用一组 Play-Doh 获得正确的形状，请将其与另一种形状的 Play-Doh 组合（将两个神经网络连接在一起）。
所以，真正的问题是，你能把 Play-Doh 塑造成你想要的任何形状吗？ 如果是，则可以满足您的条件。