假设您想学习情绪，这是一个问题。当你将它提供给机器学习算法时会发生什么，它会给多次出现的推文赋予更多的权重，而不是学习更多的信息。一条被转发 10 次的推文不太可能比没有被转发的推文包含更多关于情绪的重要信息。你可以做的是将推文在集合中的次数作为一个特征添加到你的情绪模型中，有可能从这个事实中学到一些东西（也许积极的推文被更频繁地转发），但你应该保持它为 1每条不同推文的行。

不过，以编程方式摆脱这些冗余记录应该不难。我不知道您使用的是什么语言，但如果您只考虑推文的正文（内容），您可以遍历您的推文，保留所有唯一正文的列表，并结合其他元信息（如用户，标记情绪），如果下一条推文的内容已经存在，请不要添加它。寻找“独特”的功能，而不是冗余的、足够的信息。