词汇文件包含词汇字符串和索引的映射，用于在模型中嵌入查找。

合并说明如何将输入字符串拆分为子字单元。算法如下：在合并开始时，将一个单词拆分成字符，然后你贪婪地搜索可以合并的相邻符号（即在允许合并的列表中），当没有可以合并的时候你停止并且这是子词分割。