我计划在 LSTM 嵌入层中使用 BERT 嵌入，而不是通常的 Word2vec/Glove 嵌入。有哪些可能的方法来做到这一点？
在 LSTM 嵌入层中添加 BERT 嵌入
人工智能
深度学习
喀拉斯
词嵌入
长短期记忆
伯特
2021-10-30 05:08:39
1个回答
Embedding()您可以创建一个新bertEmbedding()图层并改为使用它，而不是直接使用该图层。
# Sample code
# Model architecture
# Custom BERT layer
bert_output = BertLayer(n_fine_tune_layers=10)(bert_inputs)
# Build the rest of the classifier
dense = tf.keras.layers.Dense(256, activation='relu')(bert_output)
pred = tf.keras.layers.Dense(1, activation='sigmoid')(dense)
model = tf.keras.models.Model(inputs=bert_inputs, outputs=pred)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(...)
本文将引导您完成创建自定义 BERT 层的整个过程以及示例代码。读一读。
其它你可能感兴趣的问题