不幸的是，关于复杂神经网络做什么的理论知识很少。众所周知，变形金刚是通用近似值，因此理论上它们可以学习对输入句子执行任何功能，这与您提到的其他替代方案不同。大多数时候，类 BERT 模型的准确性会更好。

然而，在实践中，一切都取决于您拥有的数据。神经语言模型的参数非常多，这使得它们经常容易过度拟合并且难以训练。一些分类问题也可能很容易，以至于更强大的模型无济于事。还有计算效率的问题，精度增益可能不值得因使用更复杂的模型而放慢速度。BoW 模型也可能提供更好的可解释性。

总而言之，可能存在许多情况和许多原因，为什么更小和更简单的模型可能是更好的选择。