TextVectorization 和 Tokenizer 有什么区别?

数据挖掘 喀拉斯 nlp 标记化
2022-02-24 09:37:14

layers.TextVectorization()有什么区别

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

什么时候用什么?

1个回答

标记化是将语言流拆分为单个标记的过程。

矢量化是将字符串数据转换为数字表示的过程。