在牙科手术的“前后”图像上训练 GAN

数据挖掘 张量流 计算机视觉 vae
2021-09-27 09:34:20

我想要一个 GAN 来训练牙科手术的“前后”图像;这样它就可以为新患者生成“后”图片。

输入图像如下:https ://img.webmd.com/dtmcms/live/webmd/consumer_assets/site_images/article_thumbnails/slideshows/cosmetic_dentistry_slideshow/650x350_cosmetic_dentistry_slideshow.jpg


现在作为一名网络开发人员,我正在涉足人工智能。

我已经阅读了很多关于基本 ML、AI、GAN、VAE、StyleGAN 等的内容。

在 Tensorflow 等上做了一些小项目。

我有我的基础知识和理论知识。但我不知道如何从我的上述想法开始。


我的方法应该是什么?

以下是我的问题:

我需要多少“之前和之后”的图像?

我应该使用什么架构?即 StyleGAN,VAE?

因为我需要我的自定义模型;训练一个新模型需要一个好的 GPU。我应该去什么平台?Colab、Floyhub 或其他


我想到的一种方法是 - 处理图像,进行颜色分割或其他操作。

将静态牙齿图像添加到牙齿缺失的区域。然后将此图像输入 GAN,以便它可以将该图像打磨成真实的样子。


请指导我正确的方向。对不起,如果我的任何问题是胡说八道。

1个回答

这是一个非常具体的问题,没有正确或错误的解决方案。我只会写下我在你的位置上会做的事情,并希望它有用。

我需要多少“之前和之后”的图像?

您需要大量图像才能始终如一地获得良好的效果,范围在数万甚至数十万。

我应该使用什么架构?即 StyleGAN,VAE?

StyleGAN 似乎是这些天来这类任务最流行的选择,所以我会坚持下去。

因为我需要我的自定义模型;训练一个新模型需要一个好的 GPU。我应该去什么平台?Colab、Floyhub 或其他

您选择的平台取决于您是否愿意付费。Colab、Floydhub 和 Kaggle 是 GPU afaik 的唯一免费选项,但也提供付费版本(12)。都有其优点和缺点。例如,我更熟悉的 colab 只提供 12 小时的会话(之后它会断开您的连接,您必须重新连接)。

方法

关于你所说的过程,这是一个有趣的方法。我会选择更基本的东西,比如分割蒙版,但我认为你的想法更好。