我有一些用于训练和测试 DNN 的标签数据。我工作的主要目的是训练一个可以对文本进行二进制分类的模型。为此,我有大约 3000 个标签数据和 60000 个未标记数据可供我使用。我的数据类型与指令相关(比如-开门[label-1],给我一杯水[label-1],给我钱[label-0]等)。在这种情况下,我听说Transferring其他模型的知识将对我有很大帮助。谁能给我一些关于 NLP 领域迁移学习的有用资源?
我已经做了一些实验。我使用 GLoVE 作为预训练嵌入。然后用我的标签数据测试它。但准确率约为 70%。还尝试使用我自己的数据(63k)构建嵌入,然后训练模型。测试数据的准确率达到 75%。我的模型架构如下 -

Q1:我有一个小问题,如果我在模型中使用 GLOVE 嵌入,它会被称为迁移学习吗?
欢迎任何形式的帮助。即使有人在不使用迁移学习的情况下构建模型有其他想法,也受到欢迎。