我想微调 BERT 多语言，但我不知道训练 BERT 多语言的 GPU 要求。我的本地机器上有 GTX 1050ti 4GB。我想知道需要多大尺寸的 GPU 以及训练 BERT 需要什么类型的 GPU。我可以访问服务器资源。谁能告诉我我应该在服务器上请求多大的 GPU。
我需要多大的 GPU 来微调 BERT 基本外壳？
数据挖掘
机器学习
nlp
词嵌入
伯特
显卡
2021-09-20 14:01:49
1个回答
说到香草 BERT。
目前无法使用具有 12GB - 16GB RAM 的 GPU 对 BERT-Large 进行微调，因为内存中可以容纳的最大批大小太小（即使批大小 = 1）。
使用 BERT-Base 的微调示例应该能够使用此页面上给出的超参数在具有至少 12GB RAM 的 GPU 上运行。
但是，GPU 训练仅限于单 GPU。