在计算机视觉中,如果我们没有大量的训练集,一种常见的方法是从一些相关任务(例如 ImageNet)的预训练模型开始,然后微调该模型以解决我们的问题。
自然语言处理问题可以做类似的事情吗?我有一个关于句子的布尔分类问题,并且没有足够大的训练集来从头开始训练 RNN。特别是,有没有一种很好的方法来微调 LSTM 或 1D CNN 或以其他方式进行迁移学习?而且,如果我们想对句子进行分类,是否有一个合理的预训练模型可以开始?
在计算机视觉中,如果我们没有大量的训练集,一种常见的方法是从一些相关任务(例如 ImageNet)的预训练模型开始,然后微调该模型以解决我们的问题。
自然语言处理问题可以做类似的事情吗?我有一个关于句子的布尔分类问题,并且没有足够大的训练集来从头开始训练 RNN。特别是,有没有一种很好的方法来微调 LSTM 或 1D CNN 或以其他方式进行迁移学习?而且,如果我们想对句子进行分类,是否有一个合理的预训练模型可以开始?
这篇论文可能有用....