如何检测一条推文是否与另一条推文一致

数据挖掘 nlp 情绪分析 推特
2021-09-30 17:15:34

我想检测推文文本协议。假设有人在推特上发表了一些主观意见。其他用户将发布同意或反对原始推文的回复。我想估计协议的金额。是否有任何语言的算法/库或任何标记的数据集?

2个回答

不确定有什么,你可以检查

  • 是逐字转发吗
  • 是否有同样的情绪
  • 编辑距离低吗

或者您可以训练自己的模型,在其中手动标记(同意)然后构建特征。

当然可以有更复杂的方法,但如果你正在处理原始推文,我认为问题是双重的;

  1. 主题发现

您首先需要找出推文在说什么。鉴于您正在查看带有特定标签的推文,如果您可以跳过此任务,这将变得容易得多;你知道这条推文是关于什么的。否则,您可以gensim在 Python 中使用 LDA 或库。

  1. 情绪分析

这是更容易的任务。对于每个主题,对于所有推文,将推文与正面/负面的概率相关联,并且您可以通过确定性来扩展它。这可能是使用开箱即用的解决方案,例如 from nltk

这个 github repo 似乎正在做你打算做的事情,并且可以获得一些灵感。

https://github.com/nagarmayank/twitter_sentiment_analysis