我目前正在研究 ReLU 神经网络及其逼近函数的能力。具体来说，我正在研究使用 ReLU 网络来近似使用分段线性组件的函数。我一直在参考这篇论文，特别是下面片段中的摘录。

假设我有一个已知函数，我将如何实际生成一个近似它的 ReLU 网络？也就是说，我想要一个输出线性分段函数的 ReLU 神经网络。例如，查看下图中的右侧图：

我的问题是，即使我知道函数，也很难确定在正确时间以正确斜率打开 ReLU 的权重。

我可以通过修改 b 参数（根据方程）使用 ReLU 导致延迟，但是，似乎必须计算当前斜率，以便所有先前的 ReLU 斜率都被否定。这是因为一旦 ReLU为某些 X 输入打开，它不会随着 X 的增加而关闭。

所以我的问题是：假设我完全了解一个函数（可以计算斜率等）并且我想使用 ReLU 网络逐段线性逼近它，我如何实际确定权重值（即每个 ReLU 的斜率）？这似乎是一项不平凡的任务。