您可以为此（有点）使用神经网络，并且您已经迈出了正确的第一步 - 训练网络进行预测$y$给定$x$（即训练它来逼近函数$f$这样$y = f(x)$）。因为整个神经网络是可微的（大概），你可以取输入的梯度（一些$x$) 相对于预测的输出。然后你可以用它来更新$x$与您在网络训练期间更新权重的方式相同。这使您可以从$x$. 我不知道用这样的神经网络找到全局最优值的方法，除了在许多附近找到局部最优值$x$的，然后采取最好的那些。

如果您想要一个具体的示例，请查看使用 PyTorch 进行神经样式迁移的教程：这里您有一个噪声图像作为输入，并对其进行优化以最小化与参考样式图像的“样式距离”和“内容距离” " 到参考内容图像（即从噪声开始，使其看起来像一张图像的内容，但采用另一张图像的风格）。那里有完整的代码，但这里有一个简短的 PyTorch 片段，显示了主要思想：

# I'm just optimizing one input; clone so that you don't modify the
# original tensor; let it know that we want gradients computed
inputs = train_inputs[0:1].clone().requires_grad_()
input_optimizer = torch.optim.Adam([inputs])

def optimize_input():
    input_optimizer.zero_grad()
    # where `model` is your trained neural network
    output = model(inp)
    (-output).backward()
    return output

output = []
for _ in range(10000):
    output.append(input_optimizer.step(optimize_input).detach().numpy())

output是在优化输入的每一步之后预测输出的末尾的列表。您可以使用它来查看您是否已经收敛到局部最优值（并根据需要采取更多步骤/下一次更少）。inputs将是最后的优化输入。请注意，如果您的输入应该满足某些约束，您需要自己强制执行这些约束（例如，在神经风格迁移中，他们必须强制这些值对 RGB 图像有效）。

另请注意，它的效果实际上取决于您的网络的近似程度$f$; 你很可能会得到一些不合理的$x$网络预测一个非常大的$y$因为没有类似的训练数据$x$因此网络不受该区域的限制。一般来说，您可能应该谨慎对待$x$您生成的这种方式似乎与您的训练数据不相似（例如，具有比任何数据更大/更小的值$x$网络以前见过；插值比外插容易得多）。

我假设您有一个数据集；如果您能够查询$y$给定的值$x$的，那么你可能想看看贝叶斯优化 - 本质上是试图找到的领域$x$最大化$y = f(x)$什么时候$f$评估起来很昂贵，而且你没有梯度。贝叶斯优化寻求全局最优。

您真的需要神经网络从数据中返回最大值吗？这个算法帮不了你？

xdata = [
    (1, 2),
    (-2, 4),
    (-4, 2),
]

for test in list_tests:
    y = -(test[0]^2+2 * (test[1]^2))
    if y > 0:
        print("(X(%s, %s), y=%s)" % (test[0], test[1], y))

输出：

(X(-2, 4), y=16)
(X(-4, 2), y=2)