我的问题是关于具有 sigmoidal 激活的标准密集连接前馈神经网络。
我正在研究用于神经网络的超参数选择的贝叶斯优化。毫无疑问，这是一种有效的方法，但我只是不想更深入地研究数学。
问题：神经网络是Lipschitz函数吗？
FFNN（MLP）是 Lipschitz 函数吗？
人工智能
神经网络
优化
数学
2021-11-05 09:11:51
1个回答
我不是这方面的专家，但这似乎取决于激活函数的选择：
- 不是 Lipschitz 连续的。请参阅非 Lipschitz 连续的分析函数。
- 是。
也就是说，这篇论文似乎给出了一些条件（特别是对于动态ANN），具有激活函数的网络涉及 可以是 Lipschitz 连续的，所以上述内容可能不是全部。
其它你可能感兴趣的问题