是否可以训练神经网络以某种风格绘制图片?

机器算法验证 机器学习 神经网络 深度学习
2022-03-06 15:08:18

是否可以训练神经网络以某种风格绘制图片?(所以它需要一张图像并以它训练的风格重新绘制它。)

有没有经过批准的技术来处理这种事情?我知道 DeepArt 算法。用某种图案填充主图像(例如 vangoghify 图像)很好,但我正在寻找不同的东西 - 例如,从输入的肖像中制作某种风格的卡通。

3个回答

有一篇相关论文:LA Gatus, AS Ecker, M Bethge, 2015, A Neural Algorithm of Artistic Style引用摘要,

在这里,我们介绍了一种基于深度神经网络的人工系统,该系统可以创建具有高感知质量的艺术图像。该系统使用神经表示来分离和重组任意图像的内容和风格,为艺术图像的创建提供神经算法。

这是本文中的图 2:

在此处输入图像描述

这里还有一个非常流行的基于torch的开源实现,非常易于使用。有关更多示例,请参见链接。

请记住,计算量很大,因此处理单个图像是这项工作的范围。

编辑:在检查了您提到的 DeepArt 项目后,它似乎使用了相同的技术。我不知道为什么这不是你想要的,因为风格转移的概念是通用的。

这是一个相当难以解决的问题。您可以在这里看到一些关于卡通风格(例如来自辛普森一家)如何应用于图像的示例。

卡通图像通常不具有赋予这种艺术效果的结构。尝试以某种方式应用此功能的最简单方法是使用面部跟踪器,然后尝试对齐两个人脸,例如卡通人脸和人脸,然后应用此功能。这可能会让你到达某个地方,但它也可能看起来很奇怪。然后,您可以在图像中注释地标以进一步帮助并在此之前进行非刚性配准。这在某种程度上仍然是一种混搭解决方案,但我能想到的最接近的解决方案可能适用于面部。

编辑:

@TannerSwett 的评论对此有所补充,有可能进入一些艺术家的网页并尝试找到他们的插图并尝试学习“他们的”风格。我仍然认为这不会令人满意或产生足够的数据,但这将是一个有趣的测试。目前还没有普遍可用的解决方案,但我认为肯定有一些人在做这件事,我们很快就会看到更好的结果。

我认为也许要走的路不是艺术神经网络方法。也许最好有一个网络可以对图像中的对象进行分类,然后学习对象与其卡通对应物之间的对应关系,然后以某种有意义的方式混合结果。

做起来不应该太复杂。没有读过上面提到的文章,这是我的食谱:

变分自动编码器

变形面在线演示:http: //vdumoulin.github.io/morphing_faces/online_demo.html

https://jmetzen.github.io/2015-11-27/vae.html for teh codez。

基本上,这为您提供了一种在您的情况下参数化“样式”的方法,例如让我们说笔触应该有多宽或多模糊。取决于您要模仿的特定风格的东西。

在上面的示例中,不同的“变形”或“想象”面是潜在空间中参数的函数。在下图中,这就是您在“代码”级别更改内容所获得的结果。

这是基本思想:左边是原始图像,右边是同一图像的程式化版本:

在此处输入图像描述

现在,理论上,如果您将在普通图像和风格化图像上作为目标训练这样的模型并添加卷积,您应该能够学习与艺术家使用的“笔触”类型相对应的内核过滤器.

当然,这意味着您需要有一些原始版本和风格化版本的图像示例。这样的数据集可以很好地捐赠给社区——如果你最终这样做,我会非常渴望看到这种工作。

祝你好运!

关于自动编码器的 wiki 文章将是一个很好的起点: https ://en.wikipedia.org/wiki/Autoencoder