构建 ML 以根据用户绘图找到最接近的匹配图像

人工智能 机器学习 深度学习
2021-11-14 12:50:30

我正在尝试构建一个 ML 代理以从给定集合中找到最接近的匹配图像。用户将绘制一些东西,代理应该列出最接近的匹配图像。

与这些示例非常相似

  1. https://sketchx.eecs.qmul.ac.uk/
  2. Android 键盘中的表情符号搜索

我遇到的一个独特问题是,每张图片都代表一个类别。想象一下,我们有产品图片,用户会画一些东西,我们必须找到靠近绘图的产品。因此,在我的情况下,类别将是产品 ID。

在此处输入图像描述

我想在尝试之前评估这种方法。

有很多示例可以对图像进行分类,但是如果我使用项目标识符而不是类别,它应该可以工作。但我试图找到解决这个问题的最佳方法。

1个回答

您可以研究一个很好的项目来查找有关此特定任务的信息,它是 Google quickdraw它有 345 个类别的 5000 万张图纸,并用于 Google autoDraw。AutoDraw 会猜测您要绘制的内容。

您可以使用 quickdraw 数据集来训练神经网络(Sequence-to-Sequence Variational Autoencoder),以便从您的草图中获取绘图。有关这方面的更多信息,请阅读本文

将草图分类是一项艰巨的任务,因为草图是一种高级表示,并不总是传达足够的信息来区分不同的类别。

最佳方法将取决于您的具体需求