是否有任何软件库或框架允许定期合并来自不同来源的数据？据我了解，它应该存储和支持用于清理和重新格式化来自特定来源的数据的不同类型的规则，因为从我的角度来看，这是唯一的方法。

示例：

Source 1: New Great Sneakers NGS1
Source 2: ngs1 sneakers

所以它应该在应用规则后合并：convert to lower case -> find some pattern 'NGS*' -> be sure that a number after pattern 'NGS' is the same.

这是解决问题的某种天真的方法。有没有更好的方法来定期执行此类任务？