这实际上很容易在任何具有自动微分能力的深度学习框架中实现。

你需要两个神经网络。一个近似于$X$，另一个来近似$dX/dt$.

• 第一步很容易。您有输入和目标样本$X$. 只需按照正常流程训练您的网络学习$X$
• 第二步是您没有直接的目标值（即梯度）。诀窍是你已经有了一个近似器$X$从第一步开始，因此使用它来获取第二个网络的目标。

我最熟悉的pytorch，所以我会用它作为例子。

import torch
from torch.nn import Sequential, Linear, ReLU
from torch.autograd import Variable
from torch.optim import Adam
import numpy as np

x = np.linspace(0, 10, 101).reshape(-1, 1)
y = np.sin(x) # Using sin as an example

x = Variable(torch.Tensor(x), requires_grad=True) 
y = Variable(torch.Tensor(y), requires_grad=False)

f = Sequential(....) # Build f approximator
f_optimizer = Adam(f.parameters())

for epoch in range(1000):
    loss= f(x) - y
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Build grad approximator
f_grad = Sequential(....) 

# need a new optimizer to train f_grad
f_optimizer = Adam(f_grad.parameters()) 

for epoch in range(1000):
    # Directly backprop from the output to the gradient of the f
    model(x).backward() 
    loss= f_grad(x) - x.grad # x.grad is the grad of f w.r.t x
    f_optimizer.zero_grad()
    loss.backward()
    f_optimizer.step()  

f_grad # this is the gradient function you are looking for

（我目前没有安装的机器pytorch，所以不要指望代码可以通过一些调试运行）

老实说，这听起来不像是机器学习问题。我可以想到两种方法：

• 如果你有一个分析模型$dX/dt$, 你可以整合它$t$获得一个模型$X$. 然后找到最小化数据平方距离的参数（可能加上一些正则化）。网格搜索可能就足够了。
• 使用插值函数的标准方法，例如样条插值。这样做的好处是您可以获得平滑的封闭形式的解决方案。

还请记住，有限点集的导数$X(t_1), X(t_2), ..., X(t_n)$不存在。有无数个函数通过所有点（并且几乎所有函数都是不可微的）。换句话说：您必须对您正在寻找的功能做出额外的假设。使用上述方法，您可以明确地做出这些假设，我认为这比将它们深埋在机器学习算法中要好。