如何使用 GPU 训练数百万个 doc2vec 嵌入?

数据挖掘 深度学习 nlp 词嵌入
2022-02-19 01:33:15

我正在尝试根据用户浏览历史记录(标记为 user_id 的 URL)来训练 doc2vec。我使用chainer深度学习框架。

有超过 2000 万个嵌入(user_id 和 url)需要初始化,这些嵌入不适合 GPU 内部存储器(最大可用 12 GB)。CPU 上的训练非常慢。

我正在尝试使用这里给出的 chainer 编写的代码

如果有的话,请建议尝试的选项。

1个回答

一种选择是切换到支持分布式训练的深度学习框架。