看起来您正在寻找基于内容的图像检索的算法。只要您不期待任何奇迹，您应该对颜色直方图方法感到非常满意。看看MPEG-7 颜色描述符。

一种流行且高效的方法是使用由二值化非线性核分类器组成的特征向量，每个核分类器都对图像的一些抽象属性进行编码。该方法的一个显着优点是它的可扩展性，因为它将每个图像压缩成几位。（这就是二值化的目的。）

有代表性的论文是Building Kernels from Binary Strings for Image Matching，这里是关于这个主题的介绍。

如果这太沉重或矫枉过正，我会再看看我的档案。