使用深度学习的产品标题中的自定义命名实体识别 (NER)

数据挖掘 机器学习 深度学习 nlp 词嵌入 命名实体识别
2022-03-08 21:33:32

我是机器学习和自然语言处理 (NLP) 的新手。我试图从产品标题中确定产品具有哪个品牌、产品名称、尺寸、颜色……。也就是说,从

'索尼 ZX 系列有线头戴式耳机,黑色 MDR-ZX110 '

我要提取

' brand=''Sony'' ',' item=''耳机'' ',' color=''Black'' ',' model_number=''MDR-ZX110'' '。

我知道这相当于自定义命名实体识别。

我的算法应该做的最低限度是识别“ item ”属性值,即它应该认识到上面的例子是指“耳机”。

我的数据集包含上面的产品标题,以及从电子商务网站上抓取的适当属性值对。

哪种深度学习算法最适合解决这个问题?我应该选择从哪种类型的输入(嵌入?)、神经网络模型、输出层开始?

1个回答

我目前正在做一个类似的项目,但仅限于产品标题中的品牌检测,该任务是命名实体识别任务,可以通过不同的模型来解决,最常用的是BI-LSTM + CRF(Bidirection LSTM with a CRF上一层)。您可以尝试将 spaCy 用于具有良好文档和良好工作流程的任务来训练 NER 模型。或者您可以使用tensorflow(这里有一个很好的教程)或PyTorch(这里有一个教程)自己构建模型

显然,您将需要带注释的数据来训练您的模型。

这里有一些论文可能会帮助您获得一些见解(至少它们对我有用):

编辑

您可以在这里找到与您的项目相似的预训练模型项目:https ://github.com/annis-souames/brand-ner

这是 Github 上的第二个项目: https ://github.com/maciej-cecot/brand-detection